62-506.001(07)
М 545
Министерство образования Российской Федерации
Таганрогский государственный радиотехнический университет
 |
СБОРНИК ЗАДАЧ
по курсу
СИСТЕМЫ ПЕРЕДАЧИ И ПРЕОБРАЗОВАНИЯ ИНФОРМАЦИИ
Для студентов специальности 230102 всех форм обучения
Таганрог 2002
УДК.07)
, , Сборник задач по курсу «Системы передачи и преобразования информации». - Таганрог: ТРТУ, 2002, 48 с.
Приведены основные теоретические положения, необходимые для практических упражнений по темам теория информации, модели сигналов, спектры сигналов, дискретизация, квантование, кодирование. Рассмотрены примеры решения типовых задач.
ВВЕДЕНИЕ
Сборник задач содержит необходимые теоретические пояснения, примеры решения типовых задач и упражнения по основным разделам курса "Системы передачи и преобразования информации". В часть I включены: теория информации, спектры сигналов, дискретизация и квантование сигналов, избыточное кодирование.
Материалы раздела 1 содержат необходимый материал для изучения теории информации.
Материал раздела 2 (спектральное представление сигналов) необходим для выполнения контрольной работы № 2 и курсовой работы. Рекомендуется, изучив теоретические положения спектрального положения сигналов согласно литературе, указанной в разделе, закрепить теоретический материал практическими упражнениями и после этого приступить к выполнению контрольной работы.
Материал разделов 3 и 4 призван оказать помощь при выполнении курсовой работы. Методические указания к выполнению курсовой работы содержатся в части II.
Целесообразно перед изучением курса повторить разделы курса "Высшая математика" согласно [2].
1. ОСНОВЫ ТЕОРИИ ИНФОРМАЦИИ
Общее число неповторяющихся сообщений, которое может быть составлено из алфавита m путем комбинирования по n символов в сообщении,
N=mn. (1.1)
Неопределенность, приходящаяся на символ первичного (кодируемого) алфавита, составленного из равновероятных и взаимонезависимых символов,
H=log m. (1.2)
Основание логарифма влияет лишь на удобство вычисления. В случае оценки энтропии:
а) в двоичных единицах
H=log2m (бит/символ); (1.3)
б) в единичных единицах
H=lg m (дит/символ), (1.4)
где log2m=3,32 lg m, 1 бит»0,3 дит;
в) в натуральных единицах
H=ln m (нат/ символ), (1.5)
где log2m=1,443 ln m, 1 бит»0,693 нат.
Так как информация есть неопределенность, снимаемая при получении сообщения, то количество информации может быть представлено как произведение общего числа сообщений k на среднюю энтропию H, приходящуюся на одно сообщение:
I=kH (бит). (1.6)
Для случаев равновероятных и взаимонезависимых символов первичного алфавита количество информации в k сообщениях алфавита m равно
I=k log2m (бит). (1.7)
Для неравновероятных алфавитов энтропия на символ алфавита
(бит/ символ), (1.8)
а количество информации в сообщении, составленном из k неравновероятных символов,
(бит). (1.9)
При решении задач, в которых энтропия вычисляется как сумма произведений вероятностей на их логарифм, вероятности всегда должны представлять группу полных событий, независимо от того, являются ли они безусловными p(ai), условными p(ai/bj) или вероятностями совместных событий p(ai,bj).
Пример 1.1. а) Чему равна максимальная энтропия системы, состоящей из двух элементов, каждый из которых может быть в двух состояниях? б) Чему равна энтропия системы, состоящей из трех элементов, каждый из которых может быть в четырех состояниях? в) Чему равна энтропия системы, состоящей из четырех элементов, каждый из которых может быть в трех состояниях?
a) H1=log222= 2 бит/символ; б) H2=log243= 6 бит/символ; в) H3=log234= 6,32 бит/символ.
Пример 1.2. Алфавит состоит из букв A, B, C, D. Вероятности появления букв равны соответственно pA=pB=0,25; pC=0,34; pD=0,16. определить количество информации на символ сообщения, составленного из такого алфавита.
Количество информации на символ алфавита есть энтропия данного алфавита. Так как символы алфавита неравновероятны, то энтропия равна
= -(2×0,25 log20,25 +0,34 log20,34 +0,16 log20,16)= 2×0,5+0,529174+0,423017=1,952191 бит/символ.
Общая условная энтропия сообщения В относительно сообщения А характеризует количество информации, содержащееся в любом символе алфавита, и определяется усреднением по всем символам, т. е. по всем состояниям с учетом вероятности появления каждого из состояний, и равна сумме вероятностей появления символов алфавита на неопределенность, которая остается после того, как адресат принял сигнал
(1.10)
где 
(1.11)
формула условной энтропии.
Выражение (1.10) является общим выражением для определения количества информации на один символ сообщения для случая неравномерных и взаимозависимых символов. Так как p(ai)p(bj/ai) – вероятность совместного появления двух событий p(ai, bj), то формулу (1.10) можно записать следующим образом:
(1.12)
В общем случае, если мы передаем m сигналов А и ожидаем получить m сигналов В, влияние помех в канале связи полностью описывается канальной матрицей размерностью m´m, содержащей элементы p(bj/ai). Сумма вероятностей распределения для каждой строки матрицы должна равняться единице.
Потери информации, которые приходятся на долю сигнала a1, описываются при помощи частной условной энтропии вида (1.11).
Чтобы учесть потери при передаче всех сигналов по данному каналу связи, следует просуммировать все частные условные энтропии, при этом общая условная энтропия вычисляется следующим образом:
(1.13)
Так как p(ai) p(bj/ai) = p(ai, bj), то выражение (1.13) можно записать в виде
(1.14)
Если исследуем канал со стороны приемника сообщений, то с получением сигнала bj предполагаем, что был послан какой – то из сигналов a1, a2, …, ai,…, am. При этом канальная матрица имеет размерность m´m и содержит элементы p(ai/bj). Единице должны равняться суммы условных вероятностей по столбцам канальной матрицы.
Частная условная энтропия при этом будет:
(1.15)
Общая условная энтропия:
(1.16)
Если заданы безусловные вероятности источника и канальная матрица, то может быть вычислена энтропия приемника
(1.17)
Энтропия источника сообщений может быть вычислена по формуле
(1.18)
Энтропия объединения используется для вычисления энтропии совместного появления статистически зависимых сообщений. H(A, B) – неопределенность того, что будет послано А, а принято В, и представляет собой сумму вида:
(1.19)
Элементы канальной матрицы имеют вид p(ai, bj)., что позволяет вычислять энтропию как источника, так и приемника, непосредственно по канальной матрице
(1.20)
(1.21)
Пример 1.3. Определить общую условную энтропию сообщений, составленных из алфавита А, В, если вероятности появления символов в сообщении равны pA=0,6; pB=0,4. Условные вероятности переходов одного символа в другой равны p(B/A)=0,15; p(A/B)=0,1.
=-[0,6(0,85log20,85+0,15log20,15)+ +0,4(0,1 log20,1+0,9 log20,9)]=0,6×0,6098+0,4×0,4689 =0,36588+0,18786= =0,55374 бит/символ.
Пример 1.4. Влияние помех в канале связи описывается следующим распределением условных вероятностей:
.
Вычислить полную условную энтропию сообщений, передаваемых по данному каналу связи:
а) при равновероятном появлении символов в сообщении;
б) при вероятностях p(a1)=0,7; p(a2)=0,2; p(a3)=0,1.
а) При равновероятном появлении символов энтропия источника сообщений H(A)=log23=1,58 бит/символ.
Полная условная энтропия
=-1/3(0,98 log20,98+
+ 2×0,01 log20,01+ 0,15 log20,15+0,75 log20,75+0,1 log20,1+0,3 log20,3+
+0,2 log20,2+0,5 log20,5)= 0,9 бит/символ.
б) При неравновероятном появлении символов энтропия источника сообщений
=-(0,7 log20,7+0,2 log20,2+0,1 log20,1)=
=1,156 бит/символ.
Полная условная энтропия
H(B/A)=-[0,7(0,98 log20,98+2×0,01 log20,01)+0,2(0,15 log20,15+0,75 log20,75+0,1 log20,1)+0,1(0,3 log20,3+0,2 log20,2+0,5 log20,5)]=
=0,463 бит/символ.
Для вычисления среднего количества информации, содержащегося в принятом ансамбле сообщений В относительно переданного ансамбля сообщений А в условиях действия помех, пользуются следующими выражениями:
(1.22)
(1.23)
(1.24)
Пример 1.5. Канал связи описан следующей канальной матрицей:
.
Вычислить среднее количество информации, которое переносится одним символом сообщения, если вероятности появления символов источника сообщений равны p(a1)=0,7; p(a2)=0,2; p(a3)=0,1. Чему равны информационные потери при передаче сообщения из 400 символов алфавита a1, a2, a3? Чему равно количество принятой информации?
Энтропия источника сообщений
-(0,7 log20,7+0,2 log20,2+0,1 log20,1)=
=0,3602+0,4644+0,3322=1,1568 бит/символ.
Общая условная энтропия
[0,7(0,98log20,98+
+2×0,01log20,01)+ 0,2(0,75log20,75+0,1log20,1+0,15log20,15)+
+0,1(0,2log20,2+0,3log20,3+0,5log20,5)]=0,7(0,0285+2×0,0664)+
+0,2(0,3113+0,322+0,4105)+0,1(0,4644+0,5211+0,5)=0,473 бит/символ.
Потери в канале связи DI=kH(B/A)=400×0,473=189,5 бит.
Энтропия приемника 
;
=0,7×0,98+0,2×0,1+0,1×0,2=0,726;
p(b2)= p(a1) p(b2/a1)+ p(a2) p(b2/a2)+ p(a3) p(b2/a3)=
0,7×0,01+0,2×0,75+0,1×0,3=0,187;
p(b3)= p(a1) p(b3/a1)+ p(a2) p(b3/a2)+ p(a3) p(b3/a3)=
0,7×0,01+0,2×0,15+0,1×0,5=0,087;
p(b1)+p(b2)+p(b3)=0,726+0,187+0,087=1, т. е. åj p(bj)=1.
H(B)= -(0,726 log20,726+0,187 log20,187+0,087 log20,087)=1,094 бит/ символ.
Среднее количество полученной информации
I=k[H(B)-H(B/A)]=kH(B)-DI=248,1 бит.
Задачи.
1.1 Число символов алфавита m=5. Определить количество информации на символ сообщения, составленного из этого алфавита:
а) если символы алфавита встречаются с равными вероятностями;
б) если символы алфавита встречаются в сообщении с вероятностями p1=0,8; p2=0,15; p3=0,03; p4=0,015; p5=0,005. Насколько недогружены символы во втором случае?
1.2. Для прибора Z детали из кладовой отдела комплектации доставляет конвейерная лента 1, для прибора Y – конвейерная лента 2. В комплектующие изделия прибора Z входят 10 конденсаторов, 5 резисторов и 5 транзисторов; в комплектующие изделия прибора Y входят 8 конденсаторов, 8 резисторов и 4 транзистора. Определить неопределенность появления одной из деталей на ленте. Определить энтропию в битах и дитах.
1.3. Чему равно количество информации в сообщении, переданном в двоичном коде пятизначной комбинацией и двумя пятизначными комбинациями, если символы кодируемого алфавита равновероятны?
1.4. Чему равно количество информации при получении 8 сообщений равномерного четырехзначного троичного кода?
1.5. Чему равна вероятность появления комбинации 10110 при передаче пятизначных двоичных кодов? Чему равно среднее количество информации, приходящейся на одну комбинацию?
1.6. Определить энтропию источника сообщений, если статистика распределения вероятностей вероятностей появления символов на выходе источника сообщений представлена следующей схемой:
1.7. В сообщении, составленном из 5 качественных признаков, которые используются с разной частотой, вероятности их появления равны соответственно: p1=0,7; p2=0,2; p3=0,08; p4=0,015; p5=0,005. Всего в сообщении принято 20 знаков. Определить количество информации во всем сообщении. Каким будет количество информации в данном сообщении, если все признаки будут иметь равную вероятность?
1.8. Сообщения передаются двоичным кодом. В первом случае вероятности появления 0 и 1 равны соответственно p0=0,8; p1=0,2. Помехи в канале связи отсутствуют, т. е. условные вероятности переходов 0 в 1 и 1 в 0 равны нулю. Во втором случае символы передаются с равными вероятностями p0=p1=0,5, однако в результате действия помех условные вероятности переходов равны p(1/1)=0,8; p(1/0)=0,2; p(0/0)=0,8; p(0/1)=0,2. Чему равна энтропия сообщений в первом и во втором случаях?
1.9. Чему равна условная энтропия сообщений, передаваемых по каналу связи, если канальная матрица имеет вид
1.10. Определить энтропию источника сообщений, если вероятность появления сигналов на входе приемника p(b1)=0,1; p(b2)=0,3; p(b3)=0,4; p(b4)=0,2, а канальная матрица имеет вид
.
1.11. При передаче сообщений по каналу связи с шумами была получена следующая статистика: частота f1 из 100 раз была принята 97 раз, 2 раза была принята частота f2 и 1 раз – частота f3; при передаче f2 98 раз принята f2, два раза - f1; при передаче f3 96 раз принята f3, два раза - f2 и два раза f4; при передаче f4 99 раз принята f4 и один раз - f3.
а) Составить канальную матрицу, описывающую данный канал связи с точки зрения условий прохождения частот f1¸ f4.
б) Определить общую условную энтропию сообщений, алфавитом которых являются частоты f1¸ f4, если вероятности появления этих частот в передаваемых сообщениях соответственно равны:
p(f1)=0,37; p(f2)=0,3; p(f3)=0,23; p(f4)=0,1.
в) Определить энтропию принятых сообщений.
1.12. Задана матрица вероятностей системы, объединенной в одну систему из двух взаимозависимых систем В и А:
Определить условные энтропии H(B/A) и H(A/B).
1.13. Взаимодействие двух систем А и В описывается следующей матрицей:
Определить безусловную энтропию системы А и системы В.
1.14. Сообщения создаются двумя источниками и передаются по одному каналу связи. Известно, что на выходе источника i сигналы появляются с вероятностями pА=0,5; pВ=0,333, pС=0,167. Условные вероятности появления сигналов D, E, F и G источника j при условии, что были переданы сигналы A, B, C источника i, соответственно равны:
p(D/A)=p(E/A)=p(F/A)=p(G/A)=0,25; p(D/B)=0,3; p(E/B)=0,2; p(F/B)=0,2; p(G/B)=0,3; p(D/C)=0,166; p(E/C)=0,5; p(F/C)=0,167; p(G/C)=0,167.
Определить совместную энтропию источников i, j, условную энтропию H(j/i), энтропию второго источника, а также максимальное значение энтропии H(i, j).
1.15. Определить полные условные энтропии двух систем А и В, если известна матрица вероятностей некоторой системы, полученной в результате объединения систем А и В:
.
Найти также энтропию объединения H(A, B) и H(B, A).
1.16. Чему равны информационные потери в канале связи, описанном при помощи следующей канальной матрицы:
?
1.17. Определить информационные потери в канале связи, описанном следующей матрицей:
,
если символы алфавита встречаются в сообщениях с равной вероятностью.
1.18. Сообщения передаются комбинированием частот f1, f2, f3 и f4. Статистические испытания канала связи для этих частот дали следующие результаты:
а) Определить энтропию объединения передаваемых и принимаемых сообщений, если частоты f1 ¸ f4 появляются на выходе передатчика со следующими вероятностями: p(f1)= p(f2)= p(f3)=0,2; p(f4)=0,4.
б) Определить информационные потери при передаче сообщений, состоящих из 1000 элементарных частотных посылок.
1.19. Определить информационные потери в канале связи заданном следующей канальной матрицей:
.
Вероятности появления символов A, B, C, D на выходе источника сообщений соответственно равны:pA=0,4; pB=pC=pD=0,2. Определить также среднее количество информации в принятых сообщениях относительно переданных.
.20. Определить количество информации при передаче К сообщений по каналу связи, описанному следующей канальной матрицей:
2. Спектральное представление сигналов
Литература: основная [5, c. 3-70].
Спектральное представление периодических сигналов, в виде функции времени ST(t), основано на разложении функции ST(t) в ряд Фурье:
(2.1)
Коэффициенты разложения a0, ak, bk вычисляются по формулам:
; 
;
, (2.2)
где w1=2p/T - первая (основная) гармоника спектра.
Ряд (2.1) можно записать в виде
(2.3)
где с0=a0, 
, 
(2.4)
Согласно ряду (2.3) функция ST(t) обладает спектром частот kw1, k=0,1,2,... . В общем случае составляющая частоты kw1 характеризуется амплитудой сk и начальной фазой jk, поэтому для частотного представления необходимо иметь два спектра: спектр амплитуд ck(w1),. и спектр фаз jk(w1), k=0,1,2,... .
Поскольку спектр периодической функции существует только на частотах, кратных основной частоте w1, то принято графически изображать его в виде вертикальных линий на частотах kw1. Высота линии в спектре амплитуд пропорциональна амплитуде сk, в спектре фаз - начальной фазе jk. Спектр периодической функции является дискретным или линейным.
Если функция ST(t) известна, то можно определить ее спектр и наоборот по известному спектру можно найти соответствующую функцию времени.
При построении спектра периодической функции времени требуется:
- определить частоту w1 первой гармоники спектра;
- на основании соотношений (2.2) найти коэффициенты разложения аО, аk, bk;
- определить амплитуду сk и начальную фазу jk k-й гармоники согласно (2.4);
- записать ряд Фурье в форме (2.1) или (2.3);
- построить графики спектров амплитуд и фаз.
Пример 2.1. Построить спектры амплитуд и фаз сигнала хТ(t), график которого представлен на рис. 2.1.
Рис.2.1
Аналитическое выражение колебания хТ(t) согласно рис.2.1:
XT(t)=4[t-(2i+1)] при iT<(i+1)T, i=0,±1, ±2,… .
период функции Т=2. Основная частота w1=p. В соответствии с (2.2)
; 
;
.
Согласно (2.4) 
; 
.
С помощью ряда (2.3) колебание хТ(t) запишется в виде
.
Для построения графиков спектра амплитуд и фаз протабулируем значения kw1, сk и jk (табл. 2.1)
Таблица 2.1.
k | 1 | 2 | 3 | 4 | 5 | 6 | 7 | 8 | 9 |
kw1 | p | 2p | 3p | 4p | 5p | 6p | 7p | 8p | 9p |
ck | 2,546 | 1,273 | 0,849 | 0,637 | 0,509 | 0,424 | 0,364 | 0,318 | 0,283 |
jk | p/2 | p/2 | p/2 | p/2 | p/2 | p/2 | p/2 | p/2 | p/2 |
Графики спектров представлены на рис. 2.2.
Рис. 2.2
Кроме тригонометрического ряда широкое применение находит ряд Фурье в комплексной форме:
. (2.5)
Комплексные коэффициенты разложения 
вычисляются согласно
. (2.6)
При представлении сигнала ST(t) комплексным рядом Фурье модуль комплексного коэффициента 
определит спектр амплитуд, его аргумент 
- спектр фаз. При этом спектры Ak(kw1) и jk(kw1), построенные на основании (2.6), являются двусторонними, то есть определенными на положительной и на отрицательной полуоси частот, так как k=0,±1, ±2, ...
Между коэффициентами рядов (2.1) и (2.5) существует однозначная связь;
ао=Ао; 
; 
; 
;
; 
;
; 
; k = 1, 2, 3,...
Пример 2.2. Построить спектр амплитуд и фаз сигнала хТ(t), заданного в примере 1.1, на основе комплексного ряда Фурье.
Определим комплексные коэффициенты разложения в ряд (2.5) согласно (2.6):
.
Запишем ряд (2.5) для заданного сигнала:
.
Вычисление значений 
и 
табулируем (табл. 2.2). Значение АО вычислим, подставив в формулу (2.6) k = 0:
.
Таблица 2.2
k | -7 | -6 | -5 | -4 | -3 | -2 | -1 | 0 | 1 | 2 | 3 | 4 | 5 | 6 | 7 |
kw1 | -7p | -6p | -5p | -4p | -3p | -2p | -p | 0 | p | 2p | 3p | 4p | 5p | 6p | 7p |
| 0,182 | 0,212 | 0,254 | 0,318 | 0,424 | 0,636 | 1,273 | 0 | 1,273 | 0,636 | 0,424 | 0,318 | 0,254 | 0,212 | 0,182 |
| -p/2 | -p/2 | -p/2 | -p/2 | -p/2 | -p/2 | -p/2 | 0 | p/2 | p/2 | p/2 | p/2 | p/2 | p/2 | p/2 |
Графики спектров представлены на рис. 2.3.
|
Из за большого объема этот материал размещен на нескольких страницах:
1 2 3 |
