Введение в системный анализ (стр. 3 )

Разделим модели на познавательные и прагматичные.

Познавательные модели являются формой представления научных знаний. Естественно, что при расхождении между моделью и реальностью встает задача устранения этого расхождения, что достигается с помощью модели (см. рис3.2а).

Несколько другой характер носят прагматические модели, которые являются формой организации практических действий. Примерами прагматических моделей могут служить планы и программы действий, уставы организаций, кодексы законов и т. д. Заметим, что согласование модели и реальности достигается здесь прямо противоположным способом, а именно не за счет модели, а корректировкой реальности (!) (см. рис.3.2б).

 

Рис.3.2 а) – схема познавательной модели;

б) – схема прагматической модели

Несмотря на широкое применение моделирования в современной науке, метод моделирования объективно ограничен. Ограничение диктуется особенностями метода. Чтобы популярно и наглядно объяснить особенности моделирования, в одном из зарубежных сборников по моделированию приводится такое остроумное сравнение: «Кочан капусты вполне может служить моделью головы короля». В этой шутке отражены все современные требования к моделированию в широком смысле: вычленение интересующих нас свойств (геометрия головы), адекватность, приближенность и др.

Как известно, метод моделирования основан на многообразии свойств любого реального объекта и объективной возможности отказаться от описания некоторых из них в конкретной задаче. Отсюда приближенность моделей и теорий.

Сравнительно недавно считалось, что природа в своей основе неисчерпаема. Вспомним знаменитое ленинское изречение: «Электрон также неисчерпаем, как и атом». Сегодня большинство физиков признают, что природа в своих фундаментальных физических основах может быть понята до конца. Это стало понятным, как только в физике укрепилось понимание квантовой неопределенности не как некоторого предела для познания, а как одного из фундаментальных свойств природы. Можно ожидать, что по мере продвижения в новые наиболее глубокие иерархические уровни природы их теоретическое описание в принципе не должно усложняться. Это можно продемонстрировать недавними результатами нелокальной версии термодинамики. Из нее, например, следует, что описание свойств жидкости или даже газа значительно сложнее описания свойств состояния физического вакуума. Это и понятно, при описании вещественного состояния (газ, жидкость) необходимо для адекватного описания так или иначе учитывать, что вещество погружено в физический вакуум. Анализ показывает, что системный подход требует трехуровневого описания. В то же время при описании физического вакуума как самостоятельного термодинамического состояния достаточно более простого, двухуровневого, рассмотрения. Имеются в виду два уровня физического вакуума – возбужденный и невозбужденный.

Вернемся к моделированию как методу, основанному на многообразии свойств любого реального объекта и на возможности вычленения некоторых из них. Можно ожидать, что по мере перехода к фундаментальным уровням число этих свойств будет сокращаться, так что исключение из описания части из них будет приводить к полной неадекватности математического описания, полученного методами модельных представлений.

Критику методов моделирования в физике можно найти в работах, относящихся еще к началу прошлого века. писал в своих воспоминаниях: «Постепенно и вопреки сильной оппозиции распространялось убеждение, что модели не только не нужны, но и мешают прогрессу. Явления природы нет необходимости сводить к моделям, доступным нашему воображению и объяснимым на языке механики, явления природы имеют собственную структуру, непосредственно выводимую из опыта » [19].

В следующем разделе показаны возможности термодинамического метода, из которого удалены следы модельности, связанные с принятием концепции непрерывности.

3.8. Метагалактика как термодинамическая система. В настоящее время в физике господствует механическая картина мира. В широком смысле и современная квантовая механика, и теория относительности А. Эйнштейна являются лишь обобщениями классической механики, в первом случае на область микроскопического уровня, во втором на область околосветовых скоростей. А следовало бы иметь дело не с обобщённой
м е х а н и к о й, в которой изначально отсутствуют такие фундаментальные понятия как энтропия и температура, а с обобщенной т е р м о д и н а м и к о й. Нелокальная версия термодинамики (НВТ) как раз и является таким обобщением.

Для раскрытия темы, вынесенной в заголовок раздела, усилим сказанное ранее об НВТ некоторыми дополнительными положениями.

Прежде всего, отметим, что НВТ прогнозирует существование кроме проявленных, т. е. вещественных состояний материальной среды (твердое тело, жидкость, газ, плазма), еще и состояние физического вакуума.

Квант рассеяния любого параметра физического вакуума равен номинальному значению самого параметра. (DА=А), поэтому такое состояние относится к непроявленному, или виртуальному состоянию. Иными словами, виртуальное состояние характеризуется полным квантовым рассеянием параметров состояния. Виртуальные состояния являются реальными (так устроена природа), но непроявленными, и в этом смысле такие состояния не наблюдаемы.. В обычном употреблении этого термина под виртуальным часто подразумевается наоборот нечто наблюдаемое, но не реальное.

В природе встречается также другой тип ненаблюдаемых объектов. Они скрыты от наблюдения релятивистским горизонтом событий. Подобные объекты в космологии называются черными дырами. Например, в НВТ горизонтом событий для макроячейки является внешняя оболочка окружения (см. п.3.6). Это означает, что наблюдатель, находящийся за внешней границей окружения, не может наблюдать содержимого макроячейки, к которой относится это окружение. Черная дыра поглощает даже световой сигнал. Так как в обычных условиях, согласно НВТ, окружение эквивалентно наблюдаемой Вселенной, то можно сказать, что мы существуем в черной дыре. Однако, если бы мы сумели приблизиться к границе наблюдаемой Вселенной, то эта граница, как и полагается горизонту, была бы отодвинута. Правда, так просто «выбраться» из черной дыры возможно только в условиях космологической однородности пространства. Дальше нас будут интересовать объекты со свойствами черных дыр, порождаемые исключительно локальной неоднородностью наблюдаемой Вселенной.

А пока рассмотрим состояние черной дыры, образованной физическим вакуумом. Такое состояние называется сингулярным. В физической сингулярности все параметры состояния черной дыры достигают своих предельных значений, которые определяются только мировыми константами. Можно сказать, что на этом состоянии «заканчивается» термодинамика, да и физика тоже. Сингулярная макроячейка обладает уникальными свойствами. Достаточно сказать, что именно свойства этого состояния порождают численные значения мировых констант в физике. Например, гравитационную постоянную можно определить как параметр, задающий максимальную силу, существующую в природе F=c4/G. Эта сила способна за менее чем миллионные доли секунды ускорить массу, равную массе солнца, до скорости света.

Радиус сингулярной макроячейки равен радиусу окружения. Как следствие, сингулярная инерционная масса макроячейки равна не только тяжелой (гравитационной), но и всей гравитирующей массе. Таким образом, индивидуальная сингулярная макроячейка является виртуальной черной дырой. Такое состояние отличается от обычного проявленного, т. е. вещественного состояния двумя уровнями скрытности. Во-первых, параметры любого состояния физического вакуума скрыты от наблюдения, поскольку они виртуальны. Во-вторых, эти параметры в каждой сингулярной макроячейке скрыты индивидуальным для каждой макроячейки горизонтом событий.

НВТ прогнозирует очень высокую температуру сингулярного состояния, 1032 К. Тем не менее, по основным свойствам ее можно было бы отнести к «холодной температуре». Дело в том, что физический вакуум не способен передать свою энергию окружающей среде, так как энтропия любой макроячейки физического вакуума предельно минимальна и равна постоянной Больцмана. В вакуумной макроячейке температура выполняет свою основную роль в природе, являясь параметром, однозначно задающим характеристику пространственно-временной метрики (размер макроячейки и дискрет времени). Понижение температуры физического вакуума возможно только при самопроизвольном изоэнтропном расширении макроячеек. При обычных температурах этот процесс протекает чрезвычайно медленно (см. в п.2.4 об инфляции энергии), но в сингулярном состоянии процесс расширения протекает со скоростью взрыва. Это и есть тот самый «Большой Взрыв», с которым современная физика связывает «начало» Вселенной. Следует обратить внимание, что мы приходим к необходимости использовать выражение «процесс со скоростью взрыва», оставаясь в рамках расширенного понимания термодинамического равновесия. Это надо понимать в том смысле, что в природе не существует ни статического, ни даже динамического термодинамического равновесия.

Проследим, однако, было ли в действительности начало Мира. Для этого покажем, каким образом эволюция материальной среды, которая как будто бы «начинается» с сингулярной температуры, вновь приводит к состоянию сингулярности. Решающим моментом в понимании этого глобального космологического цикла является предсказание НВТ существования в природе, в области очень низких температур, фазового перехода квантово-релятивистского характера. Так, НВТ доказывает, что космологически большие массы плотного вещества (примерно не меньше двух масс Солнца) нельзя охладить до сколь угодно низкой температуры. Достигнув за счет гравитации термодинамически максимальной плотности, такая масса при температуре Т=2Ч10-6К претерпевает фазовое превращение с диссипативным переходом в новое состояние и выделением эйнштейновской энергии mc2. Этой энергии оказывается достаточной, чтобы материальная среда вновь достигла сингулярной температуры.

Таким образом, начатый с сингулярного состояния космологический цикл эволюции материальной среды замыкается. Внутри этого цикла идут процессы как с повышением, так и понижением энтропии. При этом в космологическом масштабе, в соответствии с уточненным НВТ первым началом термодинамики, превалирует процесс с понижением энтропии. Частично об особенностях этих процессов см. п.2.5.

Назовем только что рассмотренное состояние, которое приводит к фазовому превращению, критическим в космологическом смысле, и остановимся на системно-термодинамических особенностях этого состояния. Анализ показывает, что в критическом состоянии объем окружения, как и в сингулярном состоянии, достигает объема макроячейки. Эта общая особенность критического и сингулярного состояния, приводящая к их неустойчивости, вполне созвучна с системным утверждением, что «систем без окружения не существует». Если учесть, что макроячейка характеризует границу микро - и макроуровня, то интересно отметить, что в локальной циклической эволюции материальной среды решающей «точкой возврата» выступает состояние, в котором совпадают иерархические границы микро- макро - и мегауровней. Это касается как космологического критического, так и сингулярного состояния (точнее состояния-процесса).

Понятия одной теоретической концепции только приближенно можно перевести на язык иного подхода. Тем не менее физики, работающие в области космологии, без труда найдут соответствующие приближенные аналоги в стандартных космологических моделях механического и частично термодинамического происхождения. Так, состояния, близкие к критическому, легко идентифицировать с макроскопическими «черными дырами», а состояния вблизи с сингулярностью можно отнести к микро-дырам.

Что же касается квантово-релятивистского фазового перехода, то он проявляется в периодически наблюдаемых астрофизиками так называемых гамма-всплесках – мощных излучений, пока неизвестной природы. Трудность их идентификации усугубляется тем, что они испускаются из областей, в которых не наблюдалось никаких объектов ни до, ни после излучения. Последнее, впрочем, хорошо согласуется с физикой НВТ, согласно которой как начальный, так и конечный объект гамма-всплесков является состоянием со свойствами чёрной дыры.

Таким образом локальный космологический цикл материальной среды включает в себя: сингулярность (Большой Взрыв) – эволюция материальной среды – образование черных дыр с критическим состоянием – квантово-релятивистский фазовый переход – сингулярность.

Часть макроячеек из сингулярности не возвращается к проявленной материальной среде, а продолжает расширяться в состоянии физического вакуума, создавая фон, на котором развиваются рассмотренные циклические процессы. Астрофизические наблюдения позволяют установить к какой области расширяющегося физического вакуума относится наша Метагалактика, и таким образом можно установить её размеры и время существования. Это означает, что Метагалактика выступает как некоторая нас интересующая космологическая структурная единица. Если же быть объективным, т. е. отказаться от наблюдателя, то следует признать пространственные и временные рамки Вселенной неограниченными. Расширяясь, физический вакуум понижает свою температуру, но из термодинамики известно, что нуль абсолютной температуры недостижим.

4.ЭНТРОПИЯ И ИНФОРМАЦИЯ

4.1. Энтропия как мера статистической неопределенности. В одном из недавних общественных обсуждений проблем образования было высказано мнение, что каждый образованный человек должен понимать фундаментальность понятия неопределенности. В последние десятилетия этот термин уверенно лидирует среди физических первопринципов, проникая в новые области знания. В данном разделе надлежит ближе ознакомиться с этим понятием и уяснить связь неопределенности с системообразующими характеристиками.

Неопределенность может иметь разное происхождение. Один из ее видов – неизвестность – рассматривается теорией познания и философией; такого типа неопределенность возникает, когда мы, например, задаем вопрос «Есть ли жизнь на других планетах?» или «Существуют ли другие цивилизации?» и т. п.

Другой вид неопределенности – расплывчатость, размытость, – например, «Сколько надо взять песчинок, чтобы образовать небольшую кучу»? С неопределенностью этого типа мы встречаемся в квантовой механике. На её основе построена нелокальная версия термодинамики, которая способна ответить на сходный вопрос: «сколько надо иметь частиц, чтобы образовать макроуровень и каково квантовое рассеяние этого числа»?. Эта неопределенность объективна, для нее характерно, что она неустранима в процессе измерений. В математике такой неопределенностью занимается теория размытых множеств. Следует попутно отметить, что размытость – характерное свойство языка: «в комнату (какую?) вошел высокий (какого роста?) молодой (какого конкретно возраста?) человек (кто он?) и т. п.

Третий вид неопределенности – случайность. В ее основе лежат статистические закономерности, устанавливаемые теорией вероятности. Этот вид неопределенности используется статистической физикой и совместно с неопределённостью второго типа в квантовой механике. Отличительная особенность статистической неопределенности заключается в том, что для нее можно установить количественную меру, о которой пойдет речь далее.

Оставим пока в стороне вопрос о практической значимос888ти статистической меры неопределенности, сосредоточив внимание на её сущности. Рассмотрим несколько простейших ситуаций, которые будем именовать опытами А, B и C. Предполагается, что читателю знакомы элементы теории вероятности.

О п ы т А будет заключаться в бросании монеты. В этом опыте возможны два исхода (k=2): “орел или решка”. Очевидно, вероятность каждого исхода (i=1,2).

О п ы т B – бросание игральной шестигранной кости. В этом опыте возможны уже шесть исходов (k=6). Вероятность каждого исхода .

О п ы т C предполагает одновременное бросание двух костей. Для этого опыта k=36 и .

Оценка неопределённости результатов опытов есть оценка трудности предугадывания исхода опыта. Интуитивно ясно, что из всех описанных ситуаций опыт С имеет максимальную неопределённость, поскольку число исходов здесь самое большое и заранее предвидеть исход этого опыта труднее всего.

Чтобы перейти к количественной оценке неопределённости сформулируем основные требования к функции, которая должна играть роль меры неопределённости. Будем обозначать эту функцию буквой H.

П е р в о е требование. Функция Н должна монотонно возрастать с увеличением числа исходов опыта .

В т о р о е требование. Функция Н должна быть равна нулю, если имеется единственный исход (k=1). Это означает, что если возможен лишь один исход, то никакой неопределённости не возникает и результат опыта можно предвидеть безошибочно.

Т р е т ь е требование. Обратим внимание на то, что один опыт С можно рассматривать как два опыта В, и потребуем, чтобы суммарное значение энтропии двух опытов В было равно энтропии опыта С

,

где ,

или в общем случае не для двух, а n простых опытов

.(4.1)

Если бы третье требование не соблюдалось, то оценка неопределённости опыта С оказалась бы противоречивой и зависела бы от субъективной трактовки самого опыта – считать ли, что имел место опыт С, или всё же кости упали не одновременно и имели место два опыта В. Принятие этого требования равносильно введению свойств аддитивности для будущей оценки неопределённости. По умолчанию принимается, что рассматриваемые элементы (кости) не взаимодействуют между собой. В термодинамической трактовке это равносильно принятию идеальной системы.

Решим функциональное уравнение (4.1) относительно функции . Для этого дифференцируем обе части выражения (4.1-1) по k, используя требование монотонности функции :

. (4.2)

Теперь дифференцируем (4.1) по n

. (4.3)

Разделим уравнение (4.2) на (4.3)

,

что равносильно

.

Интегрируя это выражение, используя для правой части табличный интеграл, находим

,

где – постоянная интегрирования.

Из последнего выражения

.

Так как с увеличением k энтропия растёт (первое требование), то C>0, и это выражение можно переписать в следующем окончательном виде:

, a>1.

Из него следует, что оно удовлетворяет также второму требованию. Выбор основания логарифмов при a>1не имеет значения и определяет лишь выбор единицы измерения неопределённости. Чаще всего применяют двоичные или натуральные логарифмы. Если используют двоичные логарифмы, то за единицу измерения неопределённости принимают неопределённость опыта, который имеет два равновероятных исхода (опыт А). Такая ситуация отвечает энтропии одной элементарной компьютерной ячейки, в которой хранится либо 0 либо 1. Для этой ячейки

.

Такая единица измерения называется битом (от англ. binary diget– двоичная единица).

Итак, при k равновероятных исходах неопределённость опыта составляет

, (4.4)

где p – вероятность исхода опыта.

Если учесть, что для равновероятных исходов

,

то, умножая (4.4) на единицу в виде суммы вероятностей , получаем

. (4.5)

Каждый член правой части этого выражения можно рассматривать как вклад отдельного исхода в общую неопределённость опыта. В случае равновероятных исходов вклад каждого из них в общую неопределенность опыта одинаков и формула (4.5) сворачивается в (4.4).

Выражение (4.5) легко обобщается на случай, когда вероятности исходов различны. В этом случае (4.5) можно рассматривать как среднюю энтропию опыта, а вероятности перед log приобретают смысл весовых коэффициентов. Теперь предполагается, что вклад каждого исхода в общую неопределенность опыта не обязательно одинаков. В качестве примера ситуации с неравновероятными исходами может служить опыт извлечения наугад шара из урны, в которой находится большое количество шаров нескольких цветов. Оговорка относительно большого количества шаров сделана специально, чтобы подчеркнуть вероятностный характер меры неопределенности.

Выражение (4.5) можно записать в компактной форме

. (4.6)

Здесь и далее подразумевается, что суммирование проводится по всем индексам.

Если число опытов N, то с учётом аддитивности энтропии

. (4.7)

Энтропия как мера неопределенности была введена американским математиком Клодом Шенноном в 1949 году при разработке математической теории связи [20]. Функцию типа (4.6), или энтропию выбора часто называют также шенноновской энтропией. Поскольку понятие энтропии сегодня становится общенаучным, то указание на ее информационное происхождение, как правило, используется лишь в случаях, если по тексту следует различать информационную и термодинамическую (физическую) энтропию.

Рис. 4.1. Зависимость энтропии для двух исходов опыта

Рассмотрим некоторые свойства энтропии. Отметим прежде всего, что энтропия не может принимать отрицательных значений: так как , то всегда положительно. Если , то (для доказательства следует раскрыть неопределенность типа ). Если , то также .

Так как только при p=0 или p=1, то энтропия опыта равна нулю только в случае, когда одна из вероятностей равна единице и, следовательно, все остальные равны нулю. Это обстоятельство хорошо согласуется со смыслом величины H как меры неопределенности: в этом случае опыт вообще не содержит никакой неопределенности, так как результат опыта можно предвидеть заранее.

На рис.4.1 изображен график функции H для двух исходов опыта, из которого видно, как меняется энтропия при изменении одного из исходов опыта от нуля до единицы. Из графика следует, что максимальное значение энтропии соответствует равновероятным событиям, . При этом максимальное значение энтропии

В общем случае, т. е. не для двух, а k исходов опыта, максимальное значение энтропии соответствует .

Тот факт, что максимум энтропии отвечает равновероятным событиям, согласуется со смыслом энтропии. Действительно, в случае равновероятных событий нельзя отдать предпочтение ни одному исходу и таким образо8м предвидеть результат труднее всего.

4.2. Энтропия как мера количества информации. Вернемся к простейшим опытам с монетой или игральной костью. Перед проведением опыта существует некоторая неопределенность, связанная с незнанием результата опыта. После проведения опыта, т. е. после получения результата, эта неопределенность устраняется, исчезает. Однако так обстоит дело далеко не всегда, и в практике чаще всего встречаются случаи, когда и после окончания опыта еще остается некоторая неопределенность.

Если неопределенность до опыта составляла Н (априорная неопределенность), а после опыта – (апостериорная неопределенность), то очевидно, неопределенность, устраненная в ходе опыта, составит:

. (4.8)

Эта разность носит название количества информации.

Таким образом, количество информации есть количество устраненной неопределенности. В частном случае, когда неопределенность в результате опыта устраняется полностью, как это было в опытах А, В, и С, получаем:. Хотя здесь количество информации формально равно энтропии, следует иметь в виду различный смысл количества информации и энтропии. Энтропия (неопределенность) существует до опыта, тогда как информация появляется после проведения опыта. Просто следует учитывать, что для количественной оценки информации отсутствует другая мера кроме энтропии. Связь между понятиями энтропии и количеством информации напоминает соотношение между физическими понятиями потенциала (энтропии) и разности потенциалов (количество информации).

Количество информации, как и энтропия, измеряется в битах. Один бит информации – это количество информации, сообщающее о том, какое из двух равновероятных событий имело место. Например, количество информации, заключающееся в одной элементарной ячейке ЭВМ, содержащей либо 0, либо 1, составляет один бит.

Рассмотрим пример, в котором бы фигурировала апостериорная неопределенность. Пусть методом перебора вариантов ведется поиск корня некоторого уравнения с точностью до полуцелого числа. Предварительно известно, что значение корня находится в интервале от 1 до 100, так что следует перебрать 200 вариантов. Тогда неопределенность значения корня в равновероятном варианте (4.4) составит H = log2200 = 13,3 бит.

Пусть проведена проверка 150 вариантов возможных значений корня, но корень не найден. Однако получена ли некоторая информация о значении корня? Несомненно, и чтобы ее определить, необходимо сначала найти остаточную (апостериорную) неопределенность: Н1 = log2(200 – 150) = 5,6. Тогда искомое количество информации составит= 13,3 – 5,6 = 7,7 бит.

Условная энтропия. Рассмотрим понятие количества информации на примере передачи сигналов. Пусть передается группа сигналов азбукой Морзе:

· ¾ ¾ ¾ · ¾ ¾ · ¾

До получения очередного символа на приемном конце существует неопределенность «какой сигнал будет отправлен?» Эту неопределенность можно характеризовать энтропией «на один символ» (4.6 ) при числе исходов k = 3 (точка, тире, пробел) с вероятностями рi (i = 1, 2, 3). Вероятности появления на приемном конце точки, тире или пробела, т. е. вероятности (частоты) употребления символов конкретного языка специалистам известны из статистического анализа большого объема текстов на этом языке. Подсчитав энтропию на один символ, по формуле (4.6) легко определить общую энтропию сообщения (4.7). В данном примере 10 символов, включая пробел и, следовательно, N = 10.

Итак, на приемном конце до получения сообщения существовала априорная неопределенность (4.7) или на один знак (4.6). После получения сообщения неопределенность была устранена и получена информация I = H – 0.

Однако такая простая ситуация возникает, если сообщение передается без помех (канал без шума). Если имеется шум, то его действие приводит к тому, что переданный символ может либо остаться прежним (i-м), либо быть случайно подмененным любым другим (n-м) символом. Вероятность такой подмены по обозначению р(yn | xi), где х относится к переданному сигналу, а y к принимаемому сигналу в приемнике. В канале без помех yn = xi. Вероятность р(yn | xi) носит название условной вероятностиxi) -–вероятность того, что отправленный i-й сигнал соответствует n-му сигналу на приемном конце. Конечно, эту ситуацию можно рассматривать и со стороны передатчика, используя условные вероятности вида р(xi|yn). В этом случае р(xi|yn) – вероятность того, что принятый на приемном конце n-й сигнал соответствует i-му сигналу на передающей стороне. Понятие условной вероятности вводит условную энтропию как функцию условной вероятности. В общем виде это записывается в следующих обозначениях:

I(X, Y) = H(X) – H(X½Y)

I(X, Y) = H(Y) – H(Y½X)

В этих идентичных выражениях условная энтропия играет роль апостериорной энтропии, а количество информации есть мера соответствия двух случайных объектов Х и Y.

Эта мера позволяет понять связь между понятием информации и её количеством. Информация есть отражение одного объекта другим. В данном примере такими объектами являются приемник и передатчик. Среднее же количество информации и есть числовая характеристика полноты этого отражения, степени соответствия, наконец, степени взаимодействия этих объектов. Но при взаимодействии объекты оказывают влияние друг на друга, и мы привыкли при этом различать причину и следствие. Количественное описание информации это другой тип описания взаимодействий, никак не связанный с классическими причинно-следственными описаниями. Такой тип связи характерен для НВТ.

Здесь полезно обратиться к п.3.6, где уже касались ограничений классического, причинно-следственного механизма при описании взаимодействий в открытой системе.

4.3.Энтропия непрерывного множества. Ранее была рассмотрена энтропия дискретного множества. Это означает, что подразумевались системы, где число возможных исходов (элементов множества) конечно. Однако приходится часто сталкиваться с ситуациями, когда число элементов может быть сколь угодно велико. Из теории вероятностей известно, что в этом случае следует иметь дело не с вероятностью отдельного исхода, которая равна нулю, а с плотностью распределения вероятности. Эта функция обладает таким свойством, что величина есть вероятность того, что интересующая нас переменная x (значение корня в примере п.4.2.) примет значения, заключенные в интервале от x до x+dx.

Теперь для оценки неопределенности необходимо прибегнуть к энтропии непрерывного множества, которая по аналогии с энтропией дискретного множества (4.5) имеет вид

. (4.9)

В качестве примера использования этой функции, попытаемся оценить неопределенность опыта, связанного со случайным поиском в заданном интервале значения корня (см. п.4.2) при отсутствии ограничения на точность поиска.

Повышая требования к точности ответа, можно ожидать сколь угодно большого числа возможных исходов опыта. При этом вероятность каждого исхода стремится к нулю, а искомый корень может принимать все возможные (бесчисленные) значения в заданном числовом интервале от 0 до 200. Попробуем использовать для этой же задачи энтропию непрерывного множества. Введем отрезок длиной l = x1 – x0 относительных единиц. Вероятность обнаружить значение корня на участке dx составляет dx/1. С другой стороны, эта же вероятность по определению . Следовательно, для равновероятного случая = dx/l и = 1/l. Подставляя это значение в (4.), несложно получить H = log2l = 5,6 бит.

Сравним полученный результат с примером в п.4.2. В случае дискретного множества в энтропии используется число дискретных интервалов на выделенном отрезке, а в случае непрерывного множества – относительная длина самого отрезка. Заметим, что длина должна быть выражена в относительной форме, в противном случае под логарифмом появилась бы размерная величина. Масштаб приведения к относительной форме не имеет для информационной энтропии принципиального значения, поскольку с самого начала энтропия введена с точностью до множителя (до постоянной интегрирования, см процедуру интегрирования в п.4.1).

Энтропия непрерывного множества или дифференциальная энтропия (4.9) обладает большинством свойств энтропии дискретного множества.

В современной литературе можно встретить критику понятия дифференциальной энтропии и вытекающего из этого понятия дифференциального количества информации [21]. Эта критика по своему характеру совпадает с критикой концепции непрерывности, рассмотренной ранее в п.3.5.

4.4.Энтропия как мера разнообразия, неупорядоченности, хаоса. До сих пор понятие энтропии связывалось с неопределенностью. Энтропия допускает и другое толкование. Представим себе систему, состоящую из камеры, в которой находятся N шаров m типов, отличающихся, например, цветом. Предполагается, что N достаточно большое число. Обозначим долю шаров i-го типа (цвета) – . Если произвести опыт над системой, заключающийся в извлечении наугад одного шара, то энтропия одного опыта согласно (4.6) составит: