Информациология. ОБЩАЯ ТЕОРИЯ ИНФОРМАЦИИ (стр. 74 )

Произвольно малая вероятность ошибки оказывается достижимой только в пределе, когда длина блоков становится бесконечной.

При удлинении кодируемых блоков возрастает сложность технической реализации кодирующих и декодирую­щих устройств и задержка в передаче сообщений, обусловленная необходимостью накопления требуемого числа букв в блоке. В рамках допустимых усложнений на практике при кодировании могут преследоваться две цели: либо при заданной скорости передачи информации стремятся обеспечить минимальную ошибку, либо при за­данной достоверности — скорость передачи, приближаю­щуюся к пропускной способности канала.

Предельные возможности канала никогда не исполь­зуются полностью. Степень его загрузки характеризует­ся коэффициентом использования канала

    (23.26)

где (Z) — производительность источника сообщений; Сд — пропускная способность канала связи.

Поскольку нормальное функционирование канала возможно, как показано далее, при изменении произ­водительности источника в пределах 0≤ (Z) ≤ Сд, л тео­ретически может изменяться в пределах от 0 до 1.

Пример 4. Определить пропускную способность двоичного симметричного канала (ДСК) со скоростью манипуляции VT в пред­положении независимости передаваемых символов.

Запишем соотношение (23.22) в следующем виде:

Воспользовавшись обозначениями на графе (рис. 23.5), можем записать

Рис. 23.5  Рис. 23.6

Так как р(0) + р(1) = 1, то

Величина  HU(V)  не  зависит  от  вероятностей  входных  символов, что является следствием симметрии канала. Следовательно, пропускная способность

Максимум H(V) достигается при равенстве вероятностей появле­ния символов, он равен 1. Отсюда

(23.26)

График зависимости пропускной способкости ДСК от р показан на рис. 23.6. При увеличении вероятности трансформации символа с 0 до 1/2 Сд(р) уменьшается от 1 до 0. Если р=0, то шум в канале отсутствует и его пропускная способность равна 1. При р = 1/2 канал бесполезен, так как значения символов на приемной стороне с равным успехом можно устанавливать по результатам подбрасывания монеты (герб — 1, решетка — 0). Пропускная способность канала при этом равна нулю.

23.5. Информационные характеристики источника непрерывных сообще­ний

Эпсилон-производительность непрерывного источника сообщений. Под конкретным непрерывным сообщением zj(t) подразумевают некоторую реализацию случайного процесса длительностью Т. Источник непрерывных сообще­ний характеризуется ансамблем его реализаций. Наибо­лее плодотворной оказалась модель непрерывного сооб­щения в виде эргодического случайного процесса.

Для определения производительности источника не­прерывных сообщений воспользуемся подходом и резуль­татами предыдущих изожений, где определена е-энтропия случайной ве­личины.

Под е-производительностью источника непрерывных сообщений Hе(z) понимают минимальное количество ин­формации, которое необходимо создать источнику в еди­ницу времени, чтобы любую реализацию zj(t) можно было воспроизвести с заданной вероятностью е.

Допустим, что zT(t) воспроизводится реализацией иT(t). Наблюдаемые реализации следует рассматривать, как сигналы, обладающие ограниченным, хотя возможно и достаточно широким спектром F.

При достаточно большой длительности Т как zT(t), так и  иT(t)  могут быть представлены  N - мерными (N = 2FT) векторами (z1, z2, ..., zN) и (и1, и2..... иN), координатами которых являются отсчеты. Ансамбли сообщений [zT(t)] и воспроизводящих сигналов [иT(t)] характеризуют при этом N-мерными случайными векторами Z и U, состав­ляющими которых являются соответственно случайные величины Z1, Z2, .., ZN и U1, U2, .., UN. Статистическое описание  каждого  из  ансамблей  задается  N-мерными плотностями распределения вероятностей

p(Z) = p(z1 ,z2,......, zN) и p(U)= p(u1, u2,.....,uN). Связь между ансамблями

отражают  условные  плотности  распределений 

pU(Z)= p(z1 ,z2,......, zN / u1, u2,.....,uN)

и 

pz(U) = pZ(u1, u2,.....,uN/z1, z2, ..., zN),

а также совместная плотность распре­деления вероятностей

p(Z, U) = p(z1 ,z2,......, zN; u1, u2,.....,uN).

Распространяя формулу (23.23) на N-мерные случай­ные векторы Z и U для количества информации одного из них относительно второго, получим

    (23.28)

где интегралы являются N-мерными.

Используем, как и ранее, среднеквадратический критерий верности и(Z, U), который в рассматриваемом случае имеет вид

где p(Z, U)ZU представляет собой квадрат расстояния l(Z, U) в N-мерном евклидовом пространстве.

Количество информации, приходящееся в среднем на один отсчет дискретизованных сигналов ZT(t) и UT(t), определяется выражением

Тогда в соответствии с определением для е-пропорциональности источника непрерывных сообщений Hе(Z) запишем

    (23.29)

при выполнении условия и(Z, U)≤ е 2.

Величина v характеризует скорость формирования источником отсчетов (v = 2F).

Пример 5. Определить е - производителькость источника, форми­рующего со скоростью v1 некоррелированные отсчеты стационарного нормального случайного сигнала с дисперсией у2.

Воспользовавшись полученным в (13.92) значением е-энтропии для нормально распределенной случайной величины, найдем

Возможности воспроизведения любого сообщения ZT(t) с заданной верностью можно дать геометрическое толко­вание. Поскольку все реализации эргодического процесса достаточно большой длительности являются типичными и обладают практически одной и той же средней мощностью, концы соответствующих им векторов в N-мерном пространстве сообщений составляют непрерыв­ное множество точек, равноудаленных от начала коорди­нат (гиперсферу).

Конечное подмножество воспроизводящих сигналов uT(t) размещается в центрах непересекающихся правиль­ных сферических

N-угольников (е-областей), на которое гиперсфера разбивается без промежутков. Размеры е-об­ластей определены заданной верностью воспроизведения сообщений. Если источником реализуется сообщение z*T (t), конец вектора которого должен попасть в е-область сигнала u*T(t), то воспроизводится сигнал u*T(t).

Следует отметить, что заданная верность воспроизве­дения будет достигнута с вероятностью, близкой к едини­це, только при достаточно большой длительности сообще­ний, когда погрешностью от замены непрерывных реа­лизаций последовательностями отсчетов можно будет пренебречь. Для уменьшения указанной погрешности при ограниченной длительности сообщений Т необходимо увеличивать число отсчетов N. В пределе при N→∞ получим непрерывные реализации.

В вычислении е-производительности источника и гео­метрическом толковании возможности воспроизведения сообщений с заданной верностью принципиально ничего не изменяется. Следует лишь учесть, что N-мерное евклидово пространство сообщений становится гильбер­товым и мерой близости двух сигналов должно быть расстояние в этом пространстве.

23.6. Информационные непрерывных каналов связи

Модели непрерывных каналов связи. Каналы, исполь­зуемые для передачи непрерывных сигналов, принято называть непрерывными. Такие каналы до сих пор находят широкое применение, например, в технике телефонной связи, радиовещании.

Реальные непрерывные каналы представляют собой сложные инерционные нелинейные объекты, характеристи­ки которых случайным образом изменяются во времени.

Для анализа таких каналов разработаны математические модели различных уровней сложности и степени адекват­ности реальным каналам. Модели, получившие наиболее широкое распространение, — это разновидности гауссова канала.

Под гауссовым каналом понимают математическую модель реального канала, построенную при следующих допущениях:

1)  основные физические параметры канала являются известными детерминированными величинами;

2)  полоса пропускания  канала  ограничена частотой Fк герц;

3)  в канале действует аддитивный гауссовый белый шум — аддитивная флюктуационная помеха ограниченной мощности с равномерным частотным спектром и нормаль­ным распределением амплитуд.

Предполагается также, что по каналу передаются сигналы с постоянной средней мощностью, статистические связи между сигналами и шумом отсутствуют, ширина спектра сигнала и помехи ограничена полосой пропускания канала.

При рассмотрении информационных характеристик ка­нала (скорости передачи, пропускной способности, коэф­фициента использования) основное внимание будет уделе­но гауссовому каналу.

Скорость передачи информации по непрерывному ка­налу. Скорость передачи информации по непрерывному каналу — это количество информации, которое передается в среднем принятыми непрерывными сигналами v(t), относительно переданных u(t) в единицу времени.