Информациология. ОБЩАЯ ТЕОРИЯ ИНФОРМАЦИИ (стр. 78 )

    (23.54)

  Очевидно, что знак равенства не нарушается, если (23.54) запишем в виде

    (23.55)

  Обе половины равенства (23.55) могут быть использованы для подсчета количества информации, передаваемой по каналу связи с помехами. При этом, если вход канала А, а выход В, то матрица, описывающая канал связи, имеет вид (13.27) и используется левая часть равенства (2355), если вход В и выход А, то матрица имеет вид (13.32) и используется пра­вая часть равенства (2355), естественно, подразумевается, что в первом случае заданы безусловные вероятности источника, а во втором — при­емника сообщений.

  В общем случае, когда был передан ансамбль сообщений с энтропи­ей Н(А) и получен ансамбль сообщений с энтропией Н(В), при наличии помех количество принятой информации

    (23.56)

  Другими словами, количество информации, содержащееся в ансамбле принятых сообщений В относительно ансамбля переданных сообщений А, равно энтропии передаваемых сообщений Н(А) минус потеря информации Н(А/В), вызванная действием помех. Величину

Н(А/В) определяют по формуле (23.53), а распределение частных условных вероятностей задается канальной матрицей.

Пример.  Канал связи описан следующей матрицей:  . 

  Вычислить среднее количество информации, которое переносится одним символом сообщения, если вероятности появления символов источника сообщений равны р (а1) = 0,7; р (а2) = 0,2; р (а3) = 0,1. Чему равны информационные потери при пе­редаче сообщения из 400 символов алфавита a1, а2, а3. Чему равно количество приня­той информации?

  Решение: 1) Энтропия источника сообщений

2) Общая условная энтропия

3)  Потери в канале связи

4) Энтропия приемника

5)  Среднее количество взаимной информации на 400 сообщений

  Если в рассмотренном примере символам а1, а2, а3 на выходе источ­ника сообщений будут соответствовать частоты передаваемых сигналов f1, f2, f3, то по виду матрицы, описывающей канал связи, можно уста­новить, что наилучшее прохождение в данном канале связи имеет сиг­нал частотой f1, соответствующей символу а1 и наихудшее прохождение имеет сигнал частотой f3, соответствующей символу а3. Поэтому часто­та h присвоена символу с наибольшей вероятностью появления в сооб­щении. Если бы f1 присвоили символу а3, а f3 символу а1, то информа­ционные потери в канале связи значительно бы увеличились, так как в этом случае Н (В/А) была бы равна

т. е. потери увеличились более чем в 2,5 раза.

  Если помехи отсутствуют или их уровень настолько низок, что они не в состоянии уничтожить сигнал или имитировать полезный сигнал в отсутствие передачи, то при передаче а1 мы будем твердо уверены, что получим b1. Статистические характеристики, описывающие функци­ональную связь событий А и В, жестко связаны, условная вероятность р (bj/ai) = 1, а условная энтропия

  В этом случае количество информации, содержащееся в принятом ансамбле сообщений В, равно энтропии передаваемых сообщений ан­самбля А.

  При очень высоком уровне помех любой из принятых сигналов bj  может соответствовать любому переданному сигналу ai, статистическая связь между переданными и принятыми сигналами отсутствует. В этом случае вероятности р (ai) и р (bj,) есть вероятности независимых со­бытий. Известно, что вероятность совместного появления независимых событий равна произведению вероятностей этих событий. Следова­тельно,

  (23.57)

  С другой стороны, согласно принципу умножения вероятностей, ве­роятность совместного появления двух событий может быть представ­лена через условную вероятность появления одного из них, умножен­ную на условную вероятность другого относительно  первого, т. е.

    (23.58)

  Сопоставляя выражения (23.57) и (23.58), находим, что при отсутствии статистической связи между ai и bj.

    (23.59)

  Это вполне объяснимо, так как корреляция отсутствует и принятое bj не означает, что было передано ai, а переданное аi не означает, что будет принято bj.

  Подставляя значения р(аi/bj) для случая отсутствия корреляции (23.59) в формулу (23.55),  находим

так  как

  Следовательно, для случая, когда уровень помех настолько высок, что полностью отсутствует статистическая связь между переданными и принятыми сигналами, условная энтропия равна безусловной, а ко­личество информации, содержащееся в В относительно А, равно нулю:

  Информационные характеристики реальных каналов связи лежат между двумя предельными случаями — когда помехи полностью от­сутствуют и когда уровень помех настолько высок, что любому из при­нятых сигналов может соответствовать любой переданный. Другими словами, несмотря на то что часть информации поражается помехами, между принятыми и переданными сообщениями существует статисти­ческая взаимосвязь. Это позволяет описывать информационные харак­теристики реальных каналов связи при помощи энтропии объединения статистически зависимых событий.

  Использовать энтропию объединения для вычисления среднего количества принятой информации удобно, если канал связи с помехами описан при помощи матрицы совместных вероятностей (23.59).

  Свойство симметрии  энтропии  объединения  позволяет  записать

  (23.60)

отсюда

    (23.61)

    (23.62)

  Подставляя (23.61) или (23.62) в соответствующую часть равенства (23.56), получим выражение для подсчета среднего количества информации при передаче сообщений по каналу связи с помехами непосредственно из матриц объединения

    (23.63)

  Пример. Канал связи с помехами описан матрицей 

Определить І(В, А).

Решение: 1) Находим безусловные вероятности вида  р(ai)  и  р(bj): 

  2)  Энтропия источника и приемника сообщений

  3)  Энтропия объединения 

  Исследуем подробнее выражение (23.63). Для этого значения безуслов­ных энтропии и энтропии объединения запишем в виде

и подставим в выражение (23.63), тогда

Поскольку

то выражение для І (А, В) может оыть записано в виде:

Но

что позволяет записать

(23.64)

  Тогда, используя свойство логарифмов, согласно которому

выражение (23.64) запишем в виде

  (23.65)

  Так как І (В, А) = I (А, В), то справедливо и следующее выражение:

  (23.66)

  Выражения (23.65) и (23.66) позволяют определить среднее количество информации, содержащееся в принятом ансамбле сообщений В относи­тельно переданного ансамбля сообщений А в условиях действия помех. Используя формулу (23.58), находим

(23.67)

  Для практических вычислений выражения (23.65ч67) можно приме­нять в виде