Информациология. ОБЩАЯ ТЕОРИЯ ИНФОРМАЦИИ (стр. 77 )

  Техническая реализация возможности существенного повышения достоверности передачи осуществляется коде­ром и декодером канала. Такое кодирование получило название помехоустойчивого. Подробному рассмотрению указанной теоремы и методов помехоустойчивого коди­рования посвящена книга 5 настоящей работы.

  В общем случае, когда источник формирует сообще­ния, обладающие избыточностью, и требуется переда­вать их по каналу с помехами, целесообразно ввести в канал как кодер (и декодер) источника, так и кодер (и декодер) канала.

  Целесообразность устранения избыточности сообще­ний методами эффективного кодирования с последую­щим перекодированием помехоустойчивым кодом обус­ловлена тем, что избыточность источника сообщения в большинстве случаев не согласована со статистическими закономерностями помехи в канале связи и поэтому не может быть полностью использована для повышения достоверности принимаемого сообщения, тогда как обыч­но можно подобрать подходящий помехоустойчивый код. Кроме того, избыточность источника сообщений часто является следствием весьма сложных вероятностных за­висимостей и позволяет обнаруживать и исправлять ошибки только после декодирования всего сообщения, пользуясь сложнейшими алгоритмами и интуицией.

  Передача непрерывных сообщений по каналу без по­мех не рассматривается, поскольку в этом теоретическом случае проблема связи вообще не возникает. Одним импульсом, амплитуда которого на приемной стороне воспринимается с неограниченной точностью, может быть передано бесконечно большое количество информации, что с точки зрения практики абсурдно.

  Несколько подробнее остановимся на статистическом согласовании источника непрерывных сообщений с непре­рывным каналом, подверженным действию помех. Пре­дельные возможности системы передачи в этом случае определяются следующей теоремой Шеннона:

  если е-производительность (Z) источника непрерыв­ных сообщений не превышает пропускной способности не­прерывного канала Сн, то существует такой способ переда­чи, при котором с вероятностью, сколь угодно близкой к единице, любое полученное сообщение будет отличаться от переданного только в пределах принятой оценки верности воспроизведения.

  Утверждается также, что при Hе(Z)>Cн такую пере­дачу никаким способом обеспечить невозможно.

  Не доказывая теорему, поясним возможность осуще­ствления указанного в ней способа передачи, исполь­зуя геометрическую форму представления сигналов.

  Если сообщения должны воспроизводиться с опреде­ленной верностью, то из бесконечного множества непре­рывных сообщений длительностью Т передавать необхо­димо только счетное подмножество воспроизводящих сообщений.

  Процесс кодирования в этом случае заключается в отождествлении полученного от источника сообщения с ближайшим воспроизводящим и сопоставлении ему конкретного сигнала из множества разрешенных сигна­лов, специально подобранных для передачи с учетом действующей в канале помехи.

  При декодировании полученный сигнал отождествля­ется с ближайшим разрешенным и ставится в соот­ветствие воспроизводящему сообщению. Ошибки не произойдет, если конец вектора принятого сигнала в гильбертовом пространстве попадет в собственную об­ласть соответствующего разрешенного сигнала, размеры которой зависят от средней мощности помехи. Это на­кладывает ограничения на расстояния между концами векторов разрешенных сигналов. Таким образом, на по­верхности гиперсферы, соответствующей определенному уровню средней мощности передаваемых сигналов, мож­но разместить только ограниченное число разрешенных сигналов. Оно и определяет предельную скорость переда­чи информации с обеспечением заданного уровня верно­сти.

Поскольку обычно допускается возможность появле­ния любого значения помехи, вероятность воспроизве­дения другого разрешенного сигнала остается конечной. Однако доказано, что она стремится к нулю при неограниченном увеличении длительности передаваемых сигналов.

23.9. Вычисление количества инфор­мации при передаче сообщений по дискретному каналу связи с шумами

  Мы уже говорили, что для некоторых идеализированных условий (отсутствие потерь, отсутствие взаимозависимости) количество инфор­мации при передаче сообщений определяется как произведение числа сообщений k на энтропию, приходящуюся на одно сообщение:

    (23.46)

  Для  равновероятных независимых сообщений

    (23.47)

где т1 и т2 соответственно количество качественных признаков пер­вичного и вторичного алфавитов. 

  Для неравновероятных, независимых сообщений

    (23.48)

  Для  неравновероятных  взаимозависимых  сообщений  энтропия  может быть подсчитана при помощи следующих выражений:

  при опи­сании канала связи со стороны источника

(23.49)

или

(23.50)

  при описании канала связи со стороны приемника сообщений

  (23.51)

  Нельзя утверждать, что количество информации всегда может быть определено путем непосредственного умножения числа переданных сообщений k на Н1 ч Н5. Для вычисления энтропии источника или приемника используются преимущественно выражении (23.47) и (23.48). Выражения (23.49—23.51) используются для вычисления энтропии систем, между элементами которых наблюдается взаимозависимость, а также для определения потерь в каналах связи. В последнем случае количество информации вычисляется как произведение числа переданных со­общений k на сумму или разность соответствующих энтропии.

  Задача определения информационных потерь при передаче ин­формации по каналам связи с шумами является одной из центральных задач теории информации, так как практически не существует системы передачи без аппаратурных помех или помех в каналах связи. Уровень помех может быть более или менее опасным по сравнению с уровнем передаваемого сигнала, но действие помех всегда следует учитывать.

  Для удобства исследования помехи всегда считают сосредоточен­ными в линии связи, математическое описание которой задается в виде

вероятностных характеристик сигнала на передающем и приемном концах. Графически влиянием помех может быть проиллюстрировано рис. 23.10.

Рис. 23.10. Графическое  представление  различных  уровней помех в ка­налах связи

  Предположим, передаются два равновероятных сигнала а1 и а2, т. е. р (а1) = р (а2) = 0,5. Если в канале связи нет помех (рис. 23.10, а), то на приемном конце мы получим сигналы b1, и b2, причем р(b1) =р(b2). Наличие помех в канале связи вводит неоднозначность и в ряде случаев может привести к тому, что при передаче а1 мы примем не b1, а b2 (вместо сигнала 0 — сигнал 1, вместо сигнала отрицательной полярности — сигнал положительной полярности и т. д.), т. е. р (b1) не всегда равна р(b2). Например, если b2 — сигнал положительной полярности и помеха имеет положительную полярность (рис. 23.10, б), то Чем выше уровень помех, тем меньше будет связь, между статистическими характеристиками, описывающими функцио­нальное взаимодействие между а1, b1 и а2, b2, которые характеризу­ются условными вероятностями р(b1/а1) и р(b2/а2), и больше будут ве­роятности ложных переходов р(b2/а1) и р (b1/а2). Предельный слу­чай — отсутствие полной статистической зависимости (рис. 23.10, в).

  В общем случае, если передаются т сигналов А и ожидается полу­чить т сигналов В, влияние помех в канале связи полностью описыва­ется  матрицами  (13.27),  (13.32).

  Условная энтропия Н(A/B) определяет количество недостающей информации на приемном конце в результате действия помех и выража­ет не только соответствие принятой буквы bj, переданной ai, но и какой-то другой переданной букве ансамбля сообщений, составленного из первичного алфавита. Например, принят сигнал b1. В канале связи без помех с уверенностью можно было бы сказать, что был послан со­ответствующий ему символ а1. Но наличие помех лишает нас полной уверенности в этом. Мы все еще предполагаем, что был послан сигнал а1, но уже допускаем возможность, что мог быть послан и другой сигнал. Полученная информация меньше той, которую мы получили бы при отсутствии помех, на величину этой неуверенности, неопределен­ности, неоднозначности, неэквивалентности. Вот эта потеря информа­ции и характеризуется распределением условных вероятностей вида р (aі/bj).

  Если будет принят символ bj, то количество потерянной информа­ции, неопределенность состояния на входе теперь будет выражаться энтропией распределения условных вероятностей j-го столбца каналь­ной матрицы

При этом каждый столбец матрицы должен удовлетворять условию

(23.52)

  Для определения среднего количества потерянной информации необходимо взять среднее значение условной энтропии Н (aі/bj):

    (23.53)

  Используя свойство симметрии энтропии объединения, можно запи­сать