Информациология. ОБЩАЯ ТЕОРИЯ ИНФОРМАЦИИ (стр. 80 )

3)  Взаимная энтропия для двух ансамблей

4) Условная энтропия первого порядка

5) Условная энтропия второго порядка

Проверка. Используя (23.72) и подставляя значения энтропии первого и второ­го  порядка, имеем

  Информационные характеристики элементов взаимосвязанных ве­роятностных пространств оцениваются по характеру измерения априор­ной и апостериорной вероятностей их элементов. При этом под априор­ной вероятностью подразумевается вероятность нахождения элементов дискретных пространств в том или ином исходном состоянии перед на­чалом каждого опыта. Например, вероятность сообщения быть передан­ным до того, как на приемном конце о нем получены какие-либо све­дения, будет априорной вероятностью, а вероятность того, что действи­тельно было передано данное сообщение, после того как оно было полу­чено, будет апостериорной вероятностью.

Предположим, нас интересует степень достоверности того, что при приеме bj было передано aі. Информация, устанавливающая степень достоверности интересующего нас факта, сводится к изменению априор­ной вероятности р (аі) до апостериорной вероятности р (аі/bj). Коли­чественной мерой этого изменения является логарифм отношения апо­стериорной вероятности к априорной.

Количество информации, содержащееся в событии bj относительно события  ai,

Умножим числитель и знаменатель на bj, тогда

что лишний раз подчеркивает свойство симметрии информации. Бла­годаря именно этому свойству информация I (ai, bj) называется вза­имной информацией между событиями аi и bj. Взаимная информация есть мера статистической связи между ai и bj. При полной статистической связи между ai и bj вероятность  р (аі/bj)= 1, а

    (23.77)

Выражение (23.77) представляет количество собственной информации, содержащейся в величине ai.

При этом сама величина ai может состоять из элементов, положение каждого из которых относительно других элементов имеет определен­ную информацию. При этом сумма собственных информациq элемен­тов, представляющих величину ai, равна собственной информации самой величины ai.

Пример. Определить количество собственной информации в каждом символе принятого сообщения А5 и в сообщении в целом, если априорные вероятности появле­ния сообщений на выходе источника заданы табл. 23.2: 

Таблица 23.2. К примеру

де р0 — априорная вероятность появления сообщений на выходе источника;

р1— вероятность после приема первой кодовой посылки а1;

р2  »  второй  »  а2;

р3  »  третьей  »  а3.

(Кодовые слова состоят из кодовых посылок. Кодовое слово соответствует одной букве первичного алфавита, а кодовая посылка — одной букве вторичного алфавита. В нашем примере букве A1 первичного алфавита соответствует кодовое слово 000, состоящее из трех кодовых посылок).

Решение. 1) Сумма вероятностей сообщений, получение которых возможно после приема первой кодовой посылки,

2) Вероятностьполучения каждого из сообщений а5—а8 после приема первой кодовой посылки, как произведение априорной вероятности  каждого символа на величину, обратную сумме априорных вероятностей данной группы сообщений

аналогично

3)  После приема второй кодовой посылки число возможных сообщений еще боль­ше сократится: на 10 начинаются только два сообщения, очевидно, что вероятность каждого из них будет 1/2, действительно:

4)  После получения третьего символа вероятности получения всех сообщений, кроме  A5, становятся равными нулю

5)  Поскольку по определению, количество собственной информации равно отно­шению апостериорной вероятности к априорной, то количество собственной информа­ции в первой принятой кодовой посылке  а1 относительно сообщения А5:

Количество собственной информации во второй принятой кодовой посылке а2 сообщения А5 равно количеству добавочной информации, вносимой а2 при известном а1.

Количество собственной информации в третьей принятой кодовой посылке равно количеству добавочной информации, вносимой а3 при известных а1 и а2,

Количество собственной информации во всем сообщении А5 равно сумме собствен­ных информации отдельных символов, составляющих кодовое слово, соответствующее A5, и равно количеству взаимной информации каждой дискретной кодовой посылки a1; a2; a3 относительно сообщения А5:

т. е.

что возможно в том случае, когда условные вероятности р (b/а) = 1, т. е. при отсут­ствии помех кодовые слова всегда однозначно определяют сообщение.

Нетрудно убедиться в том, что количество информации при передаче А1 равнялось бы 1 бит при передаче А8 равнялось бы 5 бит

Среднее же количество информации на сообщение, создаваемое данным источником,

Как видим, среднее значение собственной информации элементов ансамбля есть энтропия ансамбля

Аналогично, условная собственная информация, содержащаяся в событии аi при условии появления bj

Математическое ожидание этой величины на ансамбле АВ есть общая  условная  энтропия

Взаимная информация, как и всякая случайная величина, имеет среднее значение, дисперсию, моменты любого порядка и производящую функцию моментов.

Среднее значение взаимной информации получается в результате усреднения частных значений по всему произведению ансамблей. Так для ансамблей А  и В

(23.78)

Выражение (23.78) можно записать в виде

Первое слагаемое

Второе слагаемое

так как

Теперь (23.78) можно записать в виде

    (23.79)

Выражение (23.79) лишний раз подтверждает, что количество информации служит мерой  уменьшения  неопределенности.

Какой бы ни был применен подход к изменению количества информации — ста­тистический, алгоритмический или любой другой — количество информации исчис­ляется как разность, как уменьшение разнообразия, как уменьшение некоторой ис­ходной неопределенности — энтропии.

С точки зрения вещественно-энергетических процессов информация служит мерой уменьшения шумов, хаоса, энтропии. П. Бриллюэн рассматривает информацию как меру упорядоченности и называет ее нэгэнтропией, подчеркивая этим связь ин­формации с уменьшением исходной неопределенности.

С точки зрения теории познания информацию можно трактовать как уменьшение незнания, как увеличение знаний. В этом смысле между информацией и знанием — прямая связь.

Определяя информационные характеристики вероятностных про­странств, мы имели в виду дискретные пространства. Однако сущест­вует обширный класс задач, которые не могут быть решены при помощи безоговорочного использования выражений, полученных для дис­кретных пространств. К таким задачам относятся определение инфор­мационных характеристик физических каналов связи, передающих радиосигналы, задачи, в которых событие на входе и выходе исследуе­мого объекта есть временная функция в некотором непрерывном интер­вале и т. д.

Если квантование непрерывных сигналов происходит с частотой более высокой либо равной минимуму, определенному теоремой Ко-тельникова, то при передаче таких сигналов информационных потерь не будет (влияние помех в данном случае не рассматриваем). Если взаимную информацию между точками непрерывного пространства рассматривать как предел, к которому стремится взаимная информа­ция между конечными областями, стягивающимися к этим точкам, то для вычисления взаимной информации можно использовать выра­жения для дискретных пространств, заменив в них вероятности на соответствующие плотности распределения вероятностей.