Практична робота №4. Ентропія об’єднаних джерел.
Мета заняття:
· закріпити знання про часткову і загальну умовні ентропії дискретних джерел повідомлень;
· навчатися визначати ентропію об’єднання двох джерел та кількість інформації, що передається в каналі зв’язку.
Література: 3, 21-49; 6, 19-21; 6,24-33; 6, 35-48
Питання до закріплення матеріалу:
1. Що таке умовна ентропія дискретного джерела повідомлень?
2. Які є різновиди умовної ентропії дискретного джерела повідомлень?
3. Які основні властивості умовної ентропії дискретного джерела повідомлень?
4. Як визначається часткова умовна ентропія?
5. Як визначається загальна умовна ентропія?
6. Як визначається ентропія об'єднання двох джерел?
7. Які основні властивості ентропії об'єднання двох джерел?
8. Як визначається кількість інформації на одне повідомлення двох статистично взаємозв'язаних джерел?
9. За яких умов ентропія джерела стає максимальною?
Питання до розгляду на занятті:
Ентропія об'єднання двох джерел.
Ентропію Н(А, В) об'єднання двох джерел А та В визначають через імовірність сумісної появи пар повідомлень ai, bj для всіх і = 1...k тa j = 1...l, яку позначимо р(ai, bj).
Для зручності складають матрицю, що визначає розподіл сумісної безумовної ймовірності двох джерел:
|
Оскільки р(ai, bj) – це ймовірність сумісної появи двох повідомлень, ентропія Н(А, В) є середньою кількістю інформації, що припадає на два довільних повідомлення джерел А та В й визначається так:
Виконанвши певні перетворення над форрмулою (на лекції розглянули!), можна записати іншу формулу визначення ентропії об'єднання двох джерел :
Н(А, В) = Н(A) + Н А (В) = Н(В) + Н В (А)
Кількість інформації, що припадає на одне повідомлення, передане по каналу зв'язку від джерела А спостерігачеві В за наявності завад у каналі та статистичній зумовленості ансамблів А та В визначається виразом:
I(А, В) = Н(A) - Н B (A)= Н(B) - Н А (В) = Н(A) + Н(B) - Н(А, В)
Завдання до практичної роботи:
1. Ансамблі повідомлень джерел А (А={а1, а2, а3, а4) та В (В={ b1, b2, b3, b4) поєднанні. Ймовірності сумісних повідомлень 
такі:
Визначити ентропію об’єднання цих джерел.
Рішення:
2. Два статистично незалежних джерела А та В визначаються матрицею сумісних ймовірностей
Визначити часткову та загальну умовну ентропію, ентропію об’єднання цих джерел, а також кількість інформацій, що припадає на пару повідомлень (
,
).
Рішення:
Завдання до самостійного опрацювання:
Два статистично незалежних джерела А та В визначаються матрицею сумісних ймовірностей
Визначити часткову та загальну умовну ентропію, ентропію об’єднання цих джерел, а також кількість інформацій, що припадає на пару повідомлень (,).
