Компьютерное моделирование в радиофизике и электронике (стр. 15 )

Тогда вероятность к-ого состояния определяется как

.

Энтропия непрерывного квантованного сигнала запишется в виде:

.

При достаточно малых ∆х и гладкой функции р(х) можно считать, что (теорема о среднем)

.

Тогда в пределе при стремлении ∆х к нулю получим энтропию исходного непрерывного сигнала:

(13)

так как .

Как и следовало ожидать, при ∆x → 0, энтропия квантованного сигнала → ∞. На первый взгляд, полученный результат может показаться весьма обнадеживающим: если энтропия сигнала неограниченно велика, значит с помощью него можно передавать неограниченное количество информации! Для этого достаточно лишь снять неопределенность, которую он априорно заключает в своем состоянии. Но что значит полностью снять неопределенность? Это значит получить абсолютно точный отсчет значения принятого сигнала. Но ведь этого-то и нельзя осуществить в реальных случаях. Непрерывный сигнал всегда воспринимается приближенно, с ограниченной точностью.

Таким образом, непрерывные сигналы не имеют абсолютной меры энтропии. Поэтому для них вводят понятие относительной энтропии, то есть определяют энтропию непрерывного сигнала х относительно другого непрерывного сигнала, например, x′.

В качестве эталона чаще всего выбирается непрерывный сигнал x′, имеющий равномерный закон распределения в интервале ε. Формула (13) для такого сигнала перепишется в виде

так как

Неопределенность непрерывной величины х характеризуется числом, к которому стремится разность энтропий x и x′:

Если положить е = 1 (т. е. стандартная величина (эталон) имеет равномерный закон распределения в единичном интервале), то формула примет вид

Следует помнить, что это неабсолютная мера энтропии непрерывного сигнала. Это – относительная энтропия, где за стандарт взято равномерно распределённая в единичном интервале величина. Иногда её называют дифференциальной ε - энтропией. Если выбрать другой закон распределения значений сигнала х', то выражение для относительной энтропии сигнала х также примет другой вид.

Относительная энтропия непрерывного сигнала (или сообщения) (ОЭНС) обладает свойствами, во многом аналогичными свойствам энтропии дискретных сигналов. Но есть и различия. Например, энтропия дискретного сигнала зависит лишь от вероятностей и не зависит от самих значений сигналов (можно сказать, что она зависит от закона распределения сигнала лишь частично). ОЭНС в общем случае зависит от закона распределения почти полностью. Это «почти» – намек на исключение, которое оставляет лишь независимость энтропии от постоянной составляющей сигнала.

Итак, сформулируем первое свойство ОЭНС: ОЭНС не изменится, если к сигналу прибавить неслучайную величину с.

Действительно, если распределение значений сигнала х равно , то распределение сигнала у=х+с равно и энтропия сигнала у определяется выражением

Экстремальные свойства энтропии непрерывных сигналов. Пусть задан какой-то ансамбль сообщений или сигналов, о котором известны некоторые параметры. Например, пределы изменения, дисперсия, математическое ожидание.

Напомним, что для приближенного описания случайной величины вводят числовые характеристики – так называемые моменты. Начальный момент первого порядка называется математическим ожиданием [4]:

,

где р(х) – функция распределения случайной величины. Для дискретных случайных величин,

,

где р(хi) – вероятность появления случайной величины .

Математическое ожидание характеризует центр рассеивания значений случайной величины.

Центральный момент второго порядка называется дисперсией

.

Дисперсия характеризует степень рассеивания возможных значений случайной величины около её математического ожидания. Корень σ = называется квадратичным отклонением.

Требуется подобрать такой закон распределения этого ансамбля, при котором энтропия была бы максимальной. Можно дать следующую физическую интерпретацию этому принципу максимальной энтропии: требуется создать помеху каналу связи противника таким образом, чтобы обеспечить в нем максимум неопределенности. Очевидно, при заданных параметрах наилучший эффект будет достигнут, если выбрать такой закон распределения помехи, при котором энтропия принимает максимальное значение.

Пусть задана ограниченная на непрерывная случайная величина с неизвестной плотностью распределения причем

. (14)

Требуется найти аналитическое выражение для , которое дает максимум энтропии, задаваемой функционалом

.

Для решения можно использовать один из методов оптимизации при решении задачи нелинейного программирования – метод неопределенных множителей Лагранжа.[1]

Составляем функционал

.

Берем частную производную по и приравниваем ее к нулю (знак интеграла в силу непрерывности подынтегральной функции можно отбросить):

тогда

. (15)

Используя дополнительное условие (14), получаем уравнение для определения неизвестного множителя Лагранжа в виде

Находя отсюда и подставляя в (15), получаем плотность распределения

Вывод: для случайной величины, ограниченной на конечном отрезке, максимальная энтропия достигается при равномерном распределении. Отметим, что это свойство энтропии дискретного сигнала: достигает максимального значения при

Очевидно, это свойство является некоторым оправданием для выбора в качестве эталона при записи дифференциальной (относительной) энтропии такого сигнала (сообщения), которой имеет равномерный закон распределения в интервале квантования .

Критерии степени самоорганизации открытых систем

Согласно общепринятой терминологии [2] информация Ii, приобретаемая при рождении (уничтожении) структуры с вероятностью Pi, подсчитывается формулой (2) или представляется в виде

, (16)

а ее среднее значение — информационная энтропия S определяется выражением (8).

Универсальным свойством самоорганизующихся систем является самоподобие их различных иерархических уровней, масштабная инвариантность их характеристик вследствие чего становится возможным реализация непрерывных значений информации, которую можно принять как определяющую физическую величину. Такие ситуации относятся, прежде всего, к сильнонелинейным динамико-информационным системам (турбулентная среда, биологические объекты и т. д.), в которых реализуется неоднозначная связь между функциями состояния (к примеру между энергией и энтропией).

Таким образом, можно говорить о вероятности реализации информации [9]:

. (17)

Вероятность P(I) выразим через функцию распределения плотности вероятности f (I)