Практична робота №5. Продуктивність дискретних джерел та швидкість передачі інформації каналами зв’язку.

Мета заняття:

· закріпити знання про безумовну та умовну ентропії дискретних джерел, ентропію об’єднанних джерел;

· навчатися визначати продуктивність дискретного джерела повідомлень, швидкість передачі інформації каналами зв’язку.

Література: 3, 49-60; 6, 102-121

Питання до закріплення матеріалу:

1. Чим визначається продуктивність дискретного джерела?

2. Як можна визначити продуктивність дискретного джерела з різною ймовірністю повідомлень?

3. Як можна визначити продуктивність дискретного джерела з різною тривалістю вибору повідомлень?

4. Як можна визначити продуктивність дискретного джерела з різною ймовірністю та тривалістю вибору повідомлень?

5. Як визначається швидкість передачі інформації по дискретному каналу?

6. Чому дорівнюють інформаційні втрати при передачі інформації по каналу зв'язку?

7. Чому дорівнюють втрати інформації в каналі з абсолютною статистичною залежністю його виходу та входу?

8. Чому дорівнюють втрати інформації в каналі із статистично незалежними його виходом і входом?

Питання до розгляду на занятті:

Продуктивність дискретного джерела повідомлень.

Продуктивність (Rдж) дискретного джерела визначається його середніми показниками: ентропією (середньою кількістю інформації в одному повідомленні) та часом утворення останнього.

Для найпростішого випадку (відсутність завад, повідомлення рівноймовірнісні та тривалість повідомлення однакова) продуктивність джерела визначається за формулою :

У випадку нерівноймовірності повідомлень однакової тривалості продуктивність визначається за формулою :

У випадку нерівноймовірності повідомлень різної тривалості продуктивність визначається за формулою:

Швидкість передачі інформації каналами зв’язку.

Питома кількість переданої інформації є швидкістю її передачі по каналу, тобто

Завдання до практичної роботи:

1. Визначити продуктивність джерела з ансамблем А = { а1, а2, а3 а4, а5, а6, а7, а8} та рi Î {0,1; 0,2; 0,1; 0,15; 0,05; 0,1; 0,2; 0,1}; ti Î {0,01; 0,001; 0,01; 0,005; 0,008; 0,006; 0,003; 0,001}. За яких умов ця продуктивність буде максимальною? Визначити її значення для того самого розподілу ti.

Рішення:

Rдж=2,888/0,0047=613,4043 біт/с

Максимальна продуктивність (за умови рівноймовірності повідомлень) для того самого розподілу ti

Rдж=3/0,0056=535,7143 біт/с

2. Середня кількість інформації в будь-якому повідомленні bi є B дорівнює 2,312 біт. Умовна ентропія на виході В каналу передачі відносно його входу А становить НА(В) = 0,312 біт/повідомлення. Визначити кількість інформації, що передається в 10 000 повідомленнях, а також середню швидкість її передачі, якщо на передачу зазначеної кількості повідомлень витрачається 1/3 хв.

Рішення:

Н(В) = 2,312 біт/повід

НА(В) = 0,312 біт/повід

I(A, B) = 2,312 – 0,312 = 2 біт

2*10 000 = 20 000 біт/10 000 повід

Rкан=I(A, B)/t = 20 000 біт/20c = 1 000(біт/с)

3. Ансамбль повідомлень джерела А визначено як А={a1, a2, а3} та р(а2)=0,65; р(а2)=0,25; р(а3)=0,1.Матриця умовних ймовірностей каналу має вигляд:

Визначити кількість повідомлень, що передається в одному та 100 повідомленнях. Чому дорівнюють інформаційні втрати в каналі при передачі 100 повідомлень з алфавіту А.

Рішення:

p(b1)=0,6435 + 0,0325 + 0,015 = 0,691

p(b2)=0,00325 + 0,1875 + 0,035 = 0,22575

p(b3)=0,00325 + 0,03 + 0,05 = 0,08325

H(B)= -(p(b1)log2p(b1) + p(b2)log2p(b2) + p(b3)log2p(b3) ) =

= -(0,691log20,691 + 0,22575log20,22575 + 0,08325 log20,8325) =

= 0, + 0, + 0, = 1,

-(0,99 log20,99 + 0,005log20,005 + 0,005 log20,005) =

=0, + 0, + 0, = 0,

-(0,13log20,13 + 0,75 log20,75 + 0,12 log20,12) =

= 0, + 0, + 0, = 1,

-(0,15log20,15 + 0,35 log20,35 + 0,5 log20,5) =

= 0, + 0, + 0,5= 1,

HA(B) = 0,65*0, + 0,25*1, + 0,1*1, = 0, біт \ повід - ВТРАТИ

I(A, B)= 1, - 0, = 0, біт/повід

100*0, = 68,3462196 біт/100 повід

Завдання до самостійного опрацювання:

1. Матриця сумісних ймовірностей каналу передачі має вигляд

Визначити інформаційні втрати в каналі та швидкість передачі інформації,