Информациология. ОБЩАЯ ТЕОРИЯ ИНФОРМАЦИИ (стр. 79 )

  Выражения (23.65) и (23.66) тем удобны, что для определения количе­ства информации в принятом ансамбле В относительно переданного ансамбля А можно не прибегать к вычислению вероятности совместных событий А и В. Выражение (23.67) иллюстрирует возможность выраже­ния среднего количества информации как через энтропию источника сообщений, так и через энтропию адресата. Так как I (А, В) = І (В, А), то можно сказать, что количество информации, содержащееся в В от­носительно А, равно количеству информации, которое содержится в А относительно В. Как видим, количество информации, является харак­теристикой как источника сообщений А, так и адресата В. Количество информации характеризует взаимосвязь между источником сообщений и адресатом и является мерой соответствия принятых сигналов пере­данным.

Выводы: 1. При помощи матриц (13.27, 13.32) может быть подсчитана средняя условная энтропия для произвольного количества качественных признаков, а следовательно, и количество информации, передаваемой по симметричному каналу с шумами при любом основании кода. При помощи матрицы (13.43) могут быть подсчитаны все информационные характеристики  канала  связи.

2.  Для уменьшения информационных потерь в канале связи символам источника  сообщений,  имеющим, наибольшую вероятность,  следует присваивать  качественные  признаки,  которые,  согласно  матрице, описывающей данный канал связи, имеют наименьшую частную услов­ную энтропию.

3.  При отсутствии помех энтропия приемника сообщений всегда равна энтропии источника, условная энтропия равна нулю, а взаимная энтропия (энтропия объединения) равна удвоенной энтропии источни­ка сообщений и имеет размерность бит/два символа.

4.  Количество информации может быть определено как со стороны источника сообщений, так и со стороны адресата.  Являясь отраже­нием одного объекта другим и мерой соответствия состояний объектов на передающем и приемном концах, информация обладает свойством симметрии.

23.10. Взаимная информация между произвольным числом дискретных и непрерывных ансамблей

Теперь, когда усвоены основные понятия теории информации, мож­но перенести полученные результаты на более общие случаи и отвлечь­ся от привычных ансамблей источника и приемника сообщений.

Рассмотрим два дискретных выборочных пространства А и В (оп­ределение выборочного пространства дано в п. 13.4). Элементы пространства А обозначим через аь а пространства В — через bj. Пространство, в котором только одна точка соответствует произвольным парам точек аі, bj, является произведением пространств А и В. Произведение двух пространств есть фигура двумерного пространства, в которой по столб­цам располагаются точки пространства А, а по строкам — точки про­странства В (рис. 23.11, а).

Рис. 23.11. Произведение пространств:

а— двух — А и  В; б — трех — А, В и С

Вероятностное выборочное пространство задается значениями вероятностей состояний каждого элемента ансамбля. При этом ансамбль и его вероятностная мера могут представлять выборочное пространство, описывающее как выход некоторого абстрактного источника сообщений (или вход приемника), так и состояние элементов произвольной систе­мы, например механической. Вероятность частного события дискрет­ного ансамбля равна сумме вероятностей элементов выборочного про­странства, связанных с этим событием. Другими словами, для ансамб­лей А и В

а условные вероятности

    (23.68)

  В случае взаимодействия трех ансамблей А, В и С произведение про­странства ABC будет трехмерным и каждая из его точек будет образова­на в результате пересечения трех плоскостей и иметь координаты aі, bj, ck. В трехмерном вероятностном выборочном пространстве: безусловные  вероятности

  (23.69)

условные  вероятности

используя (23.68) и (23.69), запишем

частные  условные  энтропии второго порядка

общие  условные  энтропии  второго  порядка

взаимная  энтропия

(23.70)

Рассмотримотдельно каждое слагаемое выражения (23.70):

(23.71)

Подставляя в (23.70) значения р (а, b, с) = р (а) р (с/а) р (b/ас) и

р (а, b, с) = р (с) р (а/с) р (c/ba), a также учитывая, что

Н (А) + Н (В/А) = Н (В, А); Н (В) + Н (С/В) = Н (В, С) и так далее, получим

  Н (А, В, С) = Н (А) + Н (В/А) + Н (С/АВ) = Н (А, В) + Н (С/АВ);

  Н (А, В, С) = Н (А) + Н (С/А) + Н (В/АС) = Н (А, С) + Н (В/АС);

  Н(А, В, С) = Н(В) + Н (А/В) + Н (С/ВА) = Н(В, А) + Н (С/ВА);

  Н (А, В, С) = Н (В) + Н (С/В) + Н (А/ВС) =Н(В, С) + Н (А/ВС);

Н(А, В, С) = Н (С) + Н (А/С) + Н (В/СА) = Н(С, А) + Н (В/СА);

Н (А, В, С) = Н (С) + Н (В/С) + Н (А/СВ) = Н (С, В) + Н (А/С В). (23.72)

  Используя (23.72), запишем

Н(А) + Н (В/А) + Н (С/АВ) = Н (В) + Н (С/В) + Н (А/ВС) =

= Н(С)+Н (А/С) + Н (В/АС).

  Используя возможность переноса слагаемых с обратным знаком в разные части равенства, получим

Н(А)—Н (А/С) — Н (В/АС) = Н(В)—Н (В/А) — Н (BIAB) =

  = Н (С)— Н (С/В) — Н (А/ВС).  (23.73)

  Любая из частей равенства (23.73) может быть использована для вы­числения среднего количества условной информации для случая трех взаимосвязанных вероятностных выборочных пространств.

  Пример. Взаимодействие вероятностных пространств А, В, С представлено фи­гурой трехмерного пространства, которую будем называть куб вероятностей (рис.  23.11,  б).

Найти информационные характеристики каждого из ансамблей А, В, С.

  Решение: 1) Суммируя (сжимая) элементы куба вероятностей по А, находим для произведения пространства ВС

  2) Суммируя (сжимая) элементы куба вероятностей по В, находим для произведения пространств АС

  3) Суммируя (сжимая) элементы куба вероятностей по С, находим для  произве­дения пространств

  Условные вероятности для двух взаимодействующих ансамблей  можно найти  по данным матрицам, используя схемы рис. 13.12, 13.15.

  Условные вероятности для трех взаимодействующих ансамблей А, В и С находят­ся  следующим  образом:

  Вероятности совместных событий вида р (а, b, с) находятся непосредственно из куба вероятностей, в данном случае они заданы

  Зная вероятности вида р (а1); р (а1/а2); р (а1/а2a3); p (a, b, с), нетрудно найти остальные информационные характеристики.

  Для четырехмерного вероятностного выборочного пространства безусловные  вероятности

взаимная  энтропия

  В общем случае для N-мерного вероятностного выборочного пространства,  описанного совместным  распределением

  Теорема. Взаимная энтропия дискретного ансамбля N-мерного вероятностного выборочного пространства равна сумме его безусловной энтропии и энтропии 1-го, 2-го, ..., N — 1-го порядка взаимодействую­щих с ним ансамблей этого же пространства.

Доказательство. Вероятности совместных событий вида

р (а1, а2, ..., aN) обладают свойством иерархической мультипликатив­ности

  (23.74)

Взаимная энтропия N-мерного вероятностного выборочного про­странства

(23.75)

Подставляя значение (23.74) в логарифмическую часть выражения (23.75) и учитывая (23.71), получим

(23.76)

Произведения таких ансамблей могут быть представлены фигурами N-мерного пространства. Каждая точка такого вероятностного про­странства образуется в результате пересечения N плоскостей.

Пример. Определить среднюю взаимную энтропию для ансамблей произведения вероятностных пространств А, В, С, представленного кубом вероятностей (рис. 23.11, б).

Решение. 1) Используя результаты, полученные в предыдущем примере, находим без­условные энтропии Н (А), Н (В) и Н (С):

2)  Взаимная энтропия для трех ансамблей