Литература (стр. 7 )

1) Идеальный канал без помех представляет собой линейную цепь с постоянным коэффициентом передачи, (обычно сосредоточенным в ограниченной полосе частот). Допустимы любые входные сигналы, спектр которых лежит в определённой полосе частот, имеющие ограниченную среднюю мощность.

В идеальном канале выходной сигнал при заданном входном детерминированный. Эту модель иногда используют для описания кабельных каналов (выделенные, некоммутируемые каналы). Однако, она непригодна для реальных каналов, в которых неизбежно присутствуют, хотя бы и очень слабые, аддитивные помехи.

2) Канал с аддитивным гауссовским шумом.

Сигнал на выходе такого канала

(1.1)

Где u(t) – входной сигнал; и – постоянные; N(t) – гауссовский аддитивный шум с нулевым математическим ожиданием и заданной корреляционной функцией. Чаще всего рассматриваются белый шум либо квазибелый (с равномерной спектральной плотностью в полосе спектра сигнала U(t)).

3) Канал с неопределенной фазой сигнала отличается от предыдущего тем, что в нем запаздывание является случайной величиной.

Сигнал на выходе канала можно представить в виде:

(1.2)

Где - преобразование Гильберта от u(t);

- случайная начальная фаза. Распределение вероятностей предполагается заданным, чаще всего равномерным на интервале от 0 до 2 эта модель удовлетворительно описывает те же каналы, что и предыдущая, если фаза сигнала в них флуктуирует. Такая флуктуация вызывается небольшими изменениями протяженности канала, свойств среды, в которой проходит сигнал, а также фазовой нестабильностью опорных генераторов.

4) Однолучевой гауссовский канал с общими замираниями (флуктуациями амплитуд и фаз сигнала) также описывается (11.2), но множитель K, как и фаза , считаются случайными процессами.

(1.3)

5) Канал с межсимвольной интерференцией (МСИ) и аддитивным шумом.

Межсимвольная интерференция вызывается рассеянием сигнала во времени при его прохождении по каналу связи. Она проявляется в том, что на выходе канала сигнал, описываемый общим выражением (1.3), оказывается деформированным так, что одновременно присутствуют отклики канала на отрезки входного сигнала, относящиеся к довольно отдаленным моментам времени. При передачи дискретных сообщений это приводит к тому, что при приеме одного символа на вход приемного устройства воздействует также отклики на более ранние ( а иногда и более поздние) символы, которые в этих случаях действуют как помехи.

Межсимвольная интерференция непосредственно вызывается нелинейностью ФЧХ канала и ограниченностью его полосы пропускания. В радиоканалах причиной МСИ чаще всего является многолучевое распространение радиоволн.

1.2.2 Математические модели дискретных каналов связи

В дискретном канале всегда содержится непрерывный канал, а также модем. Последний можно рассматривать как устройство, преобразующее непрерывный канал в дискретный. Поэтому, в принципе можно вывести математическую модель дискретного канала из моделей непрерывного канала и модема. Такой подход часто является плодотворным, однако он приводит к сложным моделям.

Рассмотрим простые модели дискретного канала, при построении которых свойства непрерывного канала и модема не учитывались. Для модели дискретного канала входным и выходным сигналами являются последовательности кодовых символов. Поэтому для определения возможных входных сигналов достаточно указать число m различных символов, из которых формируется последовательность (основание кода), а также длительность передачи каждого символа. Будем считать значение одинаковым для всех символов, что выполняется в большинстве современных каналов. Величина определяется количеством символов, передаваемых в единицу времени. Она называется технической скоростью и измеряется в бодах. Каждый символ, поступивший на вход канала, вызывается появление одного символа на выходе, так что техническая скорость на входе и выходе канала одинакова.

При подаче на вход канала любой заданной последовательности кодовых символов, на выходе появится некоторая реализация случайной последовательности . Кодовые символы обозначим числами от 0 до m-1.

Введем еще одно определение. Будем называть вектором ошибки поразрядную разность (разумеется, по модулю m) между принятой и переданной кодовыми последовательностями (векторами)). Это значит, что прохождение дискретного сигнала через канал можно рассматривать как сложение входного вектора с вектором ошибки. Вектор ошибки играет в дискретном канале примерно ту же роль, что и помеха в непрерывном канале. Таким образом, для любой модели дискретного канала можно записать, пользуясь сложением в векторном пространстве (поразрядным, по модулю m):

(1.4)

где и - случайные последовательности из n символов на входе и выходе канала; - случайный вектор ошибки. Различные модели отличаются распределением вероятностей вектора . Смысл вектора ошибки особенно прост в случае двоичных каналов (m=2), тогда его компоненты принимают значение 0 и 1. Всякая единица в векторе ошибок означает, что в соответствующем месте передаваемой последовательности символ принят ошибочно, а всякий нуль означает безошибочный приём символа. Число ненулевых символов в векторе ошибок называется его весом.

Перечислим наиболее важные и достаточно простые модели дискретных каналов

1) Симметричный канал без памяти определяется как дискретный канал, в котором каждый переданный кодовый символ может быть принят ошибочно с фиксированной вероятностью p и правильно с вероятностью 1-p, причем в случай ошибки вместо переданного символа в может быть с равной вероятностью принят любой другой символ. Таким образом, вероятность того, что принят символ , если был передан

(1.5)

Термин «без памяти» означает, что вероятность ошибочного приема символа не зависит от предыстории, т. е. от того, какие символы передавались до него и как они были приняты.

Очевидно, что вероятность любого n – мерного вектора ошибки в таком канале

, (1.6)

где - число ненулевых символов в векторе ошибки (вес вектора ошибки). Вероятность того, что произошло каких угодно ошибок, расположенных как угодно на протяжении последовательности длинноq n, определяется формулой Бернулли:

(1.7)

где - биномиальный коэффициент, равный числу различных сочетаний l ошибок в блоке длиной n.

Эту модель называют также биноминальным каналом. Она удовлетворительно описывает канал, возникающий при определенном выборе модема, если в непрерывном канале, отсутствуют замирания, а аддитивный шум белый (или, по крайней мере, квазибелый). Вероятности переходов показаны в виде графа на рис. а:

2) симметричный канал без памяти со стиранием отличается от предыдущего тем, что алфавит на выходе канала содержит, дополнительный (m+1)-u символ, обозначаемый знаком «?».

Этот символ появляется тогда, когда 1-я решающая схема (демодулятор) не может надежно опознать переданный символ. Вероятность такого отказа от решения или стирания символа в данной модели постоянна и не зависит от передаваемого символа. За счет введения стирания удается значительно снизить вероятность ошибки, иногда ее даже считают равной нулю. На рис. б) схематически показаны вероятности переходов в такой модели.

3) Несимметричный канал без памяти характеризуется, как и предыдущие модели, тем, что ошибки возникают в нем независимо друг от друга, однако вероятности ошибок зависят от того, какой символ передается. Так, в двоичном несимметричном канале вероятность р (1/0) приема символа «1» при передаче символа «0» не равна вероятности р (0/1) приема «0» при передаче»1» (рис. в)).

4) Марковский канал представляет собой простейшую модель дискретного канала с памятью. В ней вероятность ошибки образует простую цепь Маркова, т. е. зависит от того, правильно или ошибочно принят предыдущий символ, но не зависит от того, какой символ передается. Такой канал, например, возникает, если в непрерывном канале с гауссовским шумом используется ОФМ.

5) Канал с аддитивным дискретным шумом. Является обобщением моделей симметричных каналов. В такой модели вероятность вектора ошибки не зависит от передаваемой последовательности. Вероятность, каждого вектора ошибки считается заданной. Имеется тенденция к тому, что в векторе ошибки единицы расположены близко друг к другу, то есть группированию ошибок.

Раздел 2 Основные положения теории передачи информации

2.1 Информационные параметры сообщений и сигналов

Чтобы сравнивать между собой различные источники сообщений и различные каналы связи необходимо ввести некоторую количественную меру, позволяющую оценивать содержащуюся в сообщении и переносимую сигналами информацию. Строгие методы количественного определения информации были предложены К. Шенноном в 1948г. и привели к построению теории информации, являющейся математической основой теории связи, информатики и ряда смежных отраслей науки и техники.

Рассмотрим вначале основные идеи этой теории применительно к дискретному источнику, выдающему последовательность сообщений. Пусть этот источник посылает сообщение a из некоторого ансамбля . Найдём определение количества информации, содержащейся в этом сообщении, исходя из следующих естественных требований:

1.  Количество информации должно быть аддитивной величиной, то есть в двух независимых сообщениях оно должно равняться сумме количества информации в каждом из них.

2.  Количество информации в сообщении о достоверном событии равно нулю.

3.  Количество информации не должно зависеть от качественного содержания сообщения, в частности, от степени его важности для получателя, возможных последствий его передачи, эмоциональной окраски и т. д.

Итак, для определения количества информации в сообщении необходимо основываться только на таком параметре, который характеризует в самом общем виде сообщение a из ансамбля A . таким параметром, очевидно, является вероятность р(a) того, что источник посылает данное сообщение. Следовательно, количество информации i(a), содержащееся в сообщении a, должно быть функцией от т. е.

Дальнейшее уточнение искомого определения не составляет труда, если учесть первые два требования. Пусть a1 и a2 - два независимых сообщения. Вероятность того, что источник пошлёт оба эти сообщения (одно за другим), равна р(a1 ,a2)= р(a1). р(a2), а информация, содержащаяся в них, должна удовлетворять условию аддитивности, то есть i(a1 ,a2)= i(a1)+ i(a2). Следовательно, необходимо найти функцию от вероятности р, обладающую тем свойством, что при перемножении двух аргументов значения функции складываются. Единственная такая функция – это логарифмическая i(a)=klog р(a), где k-любая постоянная, а логарифм берётся по любому основанию. При таком определении количества информации выполняется и второе требование: при р(a)=1 i(a)=klog1=0.

Чтобы количество информации измерять неотрицательным числом, будем всегда выбирать k= -1, поскольку ФОРМУЛА (если основание логарифма больше единицы). Поэтому :

(2.1)

Основание логарифма в (2.1) чаще выбирают равным 2. Полученная при этом единица информации, носит название двоичная единица, или бит. Она равна количеству информации в сообщении о событии, происходящем с вероятностью 0,5, то есть таком, которое с равной вероятностью может произойти или не произойти. Такая единица наиболее удобна вследствие широкого использования двоичных кодов в вычислительной технике и связи. В теоретических исследованиях иногда применяют натуральный логарифм, измеряя информацию в натуральных единицах. Натуральная единица в раза больше двоичной. Мы будем пользоваться в основном двоичными единицами, и в дальнейшем обозначение log будет означать двоичный логарифм.

Можно характеризовать энтропию также как меру разнообразия вызываемых источником сообщений.

Энтропия является основной характеристикой источника, чем она выше, тем труднее запомнить (записать) сообщение или передать его по каналу связи. Необходимая во многих случаях затрата энергии на передачу сообщения пропорциональна его энтропии.

Основные свойства энтропии:

1.  Энтропия неотрицательна. Она равна нулю только для “вырожденного” ансамбля, когда одно сообщение передаётся с вероятностью 1,а остальные имеют нулевую вероятность.

2.  Энтропия аддитивна. То есть если рассматривать последовательность из n сообщений как одно “укрупнённое” сообщение, то энтропия источника таких укрупнённых сообщений будет в n раз больше энтропии исходного источника.

3.  Если ансамбль содержит K различных сообщений, причём равенство имеет место только тогда, когда все сообщения передаются равновероятно и независимо. Число K называется объёмом алфавита источника.

В частности, для двоичного источника без памяти, когда K=2, энтропия максимальна при P(a1)=P(a2)=0,5 и равна log2=1бит. Зависимость энтропии этого источника от P(a1)=1-P(a2) показана на рисунке.

То есть количество информации в сообщении тем больше, чем оно менее вероятно, или, иначе, чем оно более неожиданно.

Если источник передаёт последовательность зависимых между собой сообщений, то получение предшествующих сообщений может изменить вероятность последующего, а следовательно, и количество информации в нём. Оно должно определяться по условной вероятности передачи данного сообщения an при известных предшествующих an-1 , an-2 ,…:

(2.2)

Определённое выше количество информации является случайной величиной, поскольку сами сообщения случайные. Для характеристики всего ансамбля (или источника) сообщений используется математическое ожидание количества информации, называемое энтропией и обозначаемое H(A) :

(2.3)

Здесь математическое ожидание, как всегда, обозначает усреднение по всему ансамблю сообщений. При этом должны учитываться все вероятностные связи между различными сообщениями.

Чем больше энтропия источника, тем больше степень неожиданности передаваемых им сообщений в среднем, то есть тем более неопределённым является ожидаемое сообщение. Поэтому энтропию часто называют мерой неопределённости. После приёма сообщения, если оно принимается верно, всякая неопределённость устраняется. Это позволяет трактовать количество информации как меру уменьшения неопределённости.

Величина

(2.4)

называется избыточностью источника с объёмом алфавита K. Она показывает, какая доля максимально возможной при этом алфавите энтропии не используется источником.

Некоторые источники передают сообщения с фиксированной скоростью, затрачивая в среднем время T на каждое сообщение.

Производительностью (в бит на секунду) такого источника H’(A) назовём суммарную энтропию сообщений, переданных за единицу времени:

(2.5)

2.2 Взаимная информация

Определим теперь информацию, содержащуюся в одном ансамбле относительно другого, например, в принятом сигнале относительно переданного сообщения. Для этого рассмотрим сообщение двух дискретных ансамблей A и B, вообще говоря, зависимых. Его можно интерпретировать как пару ансамблей сообщений, либо как ансамбли сообщения и сигнала, с помощью которого сообщение передаётся, либо как ансамбли сигналов на входе и выходе канала связи и т. д. Пусть P(ak ,bl)совместная вероятность реализаций ak и bl . Cовместной энтропией ансамблей A и B будем называть:

(2.6)

Введём также понятие условной энтропии:

(2.7)

где P(ak / bl)- условная вероятность ak , если имеет место bl , здесь математические..

Из теоремы умножения вероятностей следует, что .

(2.8)

Для условной энтропии справедливо двойное неравенство:

(2.9)

Рассмотрим два крайних случая:

1.  Равенство имеет место в том случае, когда, зная реализацию , можно точно установить реализацию . Другими словами, содержит полную информацию об .

2.  Другой крайний случай, когда имеет место, если события и независимые. В этом случае знание реализации не уменьшает неопределённости , т. е. не содержит ни какой информации об А.

В общем случае, что имеет место на практике, условная энтропия меньше безусловной и знание реализации снимает в среднем первоначальную неопределённость . Естественно, назвать разность количеством информации, содержащейся в относительно . Её называют также взаимной информацией между и и обозначают :

(2.10)

Подставляя в эту формулу значения H(A) и H(A/B) выразим взаимную информацию через распределение вероятностей:

(2.11)

Если воспользоваться теоремой умножения , то можно записать в симметричной форме т. к. :

(2.12)

Взаимная информация измеряется в тех же единицах, что и энтропия. Величина показывает, сколько мы в среднем получаем бит информации о реализации ансамбля , наблюдая реализацию ансамбля .

Сформулируем основные свойства взаимной информации:

1.  , причём равенство имеет место тогда и только тогда, когда и независимы между собой

2.  , то есть содержит столько же информации относительно , сколько содержит относительно . Это свойство вытекает из симметрии выражения. Поэтому можно также записать:

(2.13)

3. , причём равенство имеет место, когда по реализации можно точно установить реализацию .

4. , причём равенство имеет место, когда по реализации можно точно установить реализацию .

5. Полагая и учитывая, что получим:

(2.14)

Это позволяет интерпретировать энтропию источника как его собственную информацию, то есть информацию, содержащуюся в ансамбле о самом себе.

Пусть - ансамбль дискретных сообщений, а - ансамбль дискретных сигналов, в которые преобразуются сообщения . Тогда в том и только в том случае, когда преобразование обратимо. При необратимом преобразовании и разность можно назвать потерей информации при преобразовании . Её называют ненадёжностью. Таким образом, информация не теряется только при обратимых преобразованиях.

Если - среднее время передачи одного сообщения, то разделив на формулы H(A/B) и I(A, B) и обозначая:

, , (2.15)

получим соответствующие равенства для энтропии и количества информации, рассчитанных не на одно сообщение, а на единицу времени. Величина называется скоростью передачи информации от к (или наоборот).

Рассмотрим пример: если - ансамбль сигналов на входе дискретного канала, а - ансамбль сигналов на его выходе, то скорость передачи информации по каналу.

(2.16)

- производительность источника передаваемого сигнала .

“производительность канала”, то есть полная собственная информация о принятом сигнале за единицу времени.

Величина представляет собой скорость “утечки” информации при прохождении через канал, а - скорость передачи посторонней информации, не имеющий отношения к и создаваемой присутствующими в канале помехами. Соотношение между и зависит от свойств канала. Так, например, при передаче телефонного сигнала по каналу с узкой полосой пропускания, недостаточной для удовлетворительного воспроизведения сигнала, и с низким уровнем помех теряется часть полезной информации, но почти не получается бесполезной. В этом случае . Если же расширяется полоса, сигнал воспроизводится точно, но в паузах ясно прослушиваются “наводки” от соседнего телефонного канала, то, почти не теряя полезной информации, можно получить много дополнительной, как правило, бесполезной информации и .

Эффективное кодирование дискретных сообщений

Применим полученные результаты к проблеме кодирования дискретных сообщений. Пусть - источник последовательности элементарных сообщений (знаков) с объёмом алфавита и производительностью . Для передачи по дискретному каналу нужно преобразовать сообщения в последовательность кодовых сигналов так, чтобы эту кодовую последовательность можно было затем однозначно декодировать. Для этого необходимо, чтобы скорость передачи информации от источника к кодеру равнялась производительности источника , =. Но с другой стороны из предыдущего: . Следовательно, необходимым условием для кодирования является или, обозначая через длительность кодового символа, через длительность элементарного сообщения, , или

, (2.17)

где - число кодовых символов, a - число сообщений, передаваемых в секунду.

Будем рассматривать для простоты только двоичный код, при котором алфавит состоит из символов 0 и 1. Тогда бит. Поэтому, необходимое условие сводится к тому, что:

(2.18)

Но это отношение представляет среднее число кодовых символов, приходящихся на одно элементарное сообщение. Таким образом, для возможности кодирования и однозначного декодирования сообщения необходимо, чтобы среднее число двоичных символов на сообщение было не меньше энтропии . Является ли это условие достаточным?

Одна из основных теорем теории информации утверждает, что оно “почти достаточно”. Точнее, содержание теоремы кодирования для источника заключается в том, что передавая двоичные символы со скоростью симв/с можно закодировать сообщения так, чтобы передавать их со скоростью:

(сообщений в секунду),

где - сколь угодно малая величина.

Эта теорема почти тривиальна, если источник передаёт сообщения независимо и равновероятно. В этом случае и, если ещё к тому же -целая степень двух , то .

Таким образом можно закодировать сообщения любого источника с объёмом алфавита , затрачивая двоичных символов на элементарное сообщение. Если, однако, сообщения передаются не равновероятно, и (или) не независимо, то и возможно более экономное кодирование с затратой символов на сообщение. Относительная экономия символов при этом окажется равной . Таким образом, избыточность определяет достижимую степень ”сжатия сообщения”.