Упражнение | Авторская платформа Pandia.ru

Упражнение 5. Найти энтропию дискретной случайной величины , заданной распределением

$\centerline{\vbox{\offinterlineskip\halign{&\strut\quad#\cr X&\omit\ \vrule& 1& 2& 3& 4& 5& 6& 7& 8\cr \noalign{\hrule} p&\omit\ \vrule& 0.1& 0.2& 0.1& 0.05& 0.1& 0.05& 0.3& 0.1.\cr}}} \smallskip$

Решение. Согласно формуле Шеннона, энтропия равна (в бит/сим)

Упражнение 6. Значения дискретной случайной величины и определяются подбрасыванием двух идеальных монет, а дискретная случайная величина равна сумме количества "гербов", выпавших при подбрасывании этих монет. Сколько информации о величине содержится в ?

Решение. Совместное распределение с. в. и задается таблицей

	0	1	2
0	¼	¼	0
1	0	¼	¼
	¼	½	¼

Действительно, согласно формуле условной вероятности, , , ,, , .

Согласно формуле Шеннона (в бит/сим),

Упражнение 7. Сколько информации о величине содержится в дискретной случайной величине , где независимые дискретные случайные величины и X_2 могут с равной вероятностью принимать значение либо 0, либо 1? Найти HX_1 и . Каков характер зависимости между величинами и ?

Решение. Совместное распределение с. в. и задается таблицей

	0	1	3	4
0	¼	¼	0	0
1	0	0	¼	¼
	¼	¼	¼	¼

Действительно, согласно формуле условной вероятности,

Согласно формуле Шеннона (все величины в бит/сим),

В силу того, что , с. в. является функцией от с. в. .

Упражнение 8. Дискретные случайные величины , - зависимы и распределены также как и соответствующие дискретные случайные величины из предыдущей задачи. Найти , если совместное распределение вероятностей и X_2 описывается законом

$\vbox{\offinterlineskip\halign{&\strut\quad#\cr X_1& \omit\ \vrule& 0 & 0 & 1 & 1\cr X_2& \omit\ \vrule& 0 & 1 & 0 & 1\cr \noalign{\hrule} p& \omit\ \vrule&1/3&1/6&1/6&1/3.\cr}}$

Решение. Согласно формуле Шеннона (в бит/сим),

Упражнение 9. Дискретные случайные величины и определяются подбрасыванием двух идеальных тетраэдров, грани которых помечены числами от 1 до 4. дискретная случайная величина равна сумме чисел, выпавших при подбрасывании этих тетраэдров, т. е. . Вычислить I(X_1,Y) , и .

НЕ нашли? Не то? Что вы ищете?

Решение. Согласно формуле Шеннона,

где равно числу способов представить в виде суммы двух чисел от 1 до 4 (в частности, использовано то, что ). Очевидно, имеем , , , . Поэтому

В свою очередь,

Заметим, что , то есть .

Упражнение 10. Подсчитать сколько информации об содержится в дискретной случайной величине Z=X_1*X_2 , а также . Дискретные случайные величины и X_2 берутся из предыдущего упражнения.

Решение. Согласно формуле Шеннона,

, где равно числу способов представить в виде произведения двух чисел от 1 до 4 (в частности, использовано то, что ). Очевидно, имеем , и . Поэтому

В свою очередь,

Заметим, что снова .

Упражнение 11. Дискретная случайная величина может принимать три значения , 0 и 1 с равными вероятностями. Дискретная случайная величина с равными вероятностями может принимать значения 0, 1 и 2. и X_2 - независимы. . Найти , I(X_2,Y) , HX_1 , , .

Решение. Совместное распределение с. в. и задается таблицей

	0	1	2	3
-1	0	1/9	1/9	1/9
0	1/9	1/9	1/9	0
1	0	1/9	1/9	1/9
	1/9	1/3	1/3	2/9

Действительно, согласно формуле условной вероятности,

Согласно формуле Шеннона (все величины в бит/сим),

Совместное распределение с. в. и задается таблицей (вероятности вычисляются так же, как в предыдущем случае)

	0	1	2	3
0	1/9	2/9	0	0
1	0	1/9	2/9	0
2	0	0	1/9	2/9
	1/9	1/3	1/3	2/9

Согласно формуле Шеннона,

В силу того, что вероятности в распределении величин и одинаковы, получим

Наконец,

Упражнение 12. Найти энтропии дискретных случайных величин , , и количество информации, содержащейся в относительно . и - независимы и задаются распределениями

$\centerline{\vbox{\offinterlineskip \halign{&\strut\quad#\cr X& \omit\ \vrule& 0& 1& 3& 4& \qquad& Y& \omit\ \vrule& -2& 2\cr \multispan6\hrulefill& \omit\quad\qquad& \multispan4\hrulefill\cr p& \omit\ \vrule& 1/8&1/8&1/4&1/2& \qquad& p& \omit\ \vrule& 3/8& 5/8.\cr }}} \smallskip$

Решение. Согласно формуле Шеннона,

Распределение величины

	-2	-1	1	2	3	5	6
	3/64	3/64	6/64	17/64	5/64	10/64	20/64

Согласно формуле Шеннона,

Совместное распределение величин и

	-2	-1	1	2	3	5	6
-2	3/64	3/64	6/64	12/64	0	0	0
2	0	0	0	5/64	5/64	10/64	20/64
	3/64	3/64	6/64	17/64	5/64	10/64	20/64

Согласно формуле Шеннона,

Упражнение 13. Найти энтропию д. с.в. и среднюю длину каждого из приведенных кодов для этой д. с.в.

$\vbox{\offinterlineskip\halign{&\strut\quad#\cr X& \omit\ \vrule& 1& 3& 4& 5& 6\cr \noalign{\hrule} p& \omit\ \vrule& 0.4& 0.2& 0.1& 0.2& 0.1\cr code1(X)& \omit\ \vrule& 000& 001& 010& 011& 111\cr code2(X)& \omit\ \vrule& 0& 100& 101& 110& 111\cr code3(X)& \omit\ \vrule& 00& 01& 110& 10& 111\cr code4(X)& \omit\ \vrule& 0& 10& 1110&110& 1111.\cr}}$

Решение. Согласно формуле Шеннона,

В силу того, что функция постоянна и равна трем, имеем .

Во втором случае

Во третьем случае

В четвертом случае

Упражнение 14. д. с.в. равна количеству "гербов", выпавших на двух идеальных монетках. Найти энтропию . Придумать минимальный код для , вычислить его среднюю длину и обосновать его минимальность.

Решение. Распределение д. с.в. :

	0	1	2
	¼	½	¼

Согласно формуле Шеннона,

Для минимальности кода будем выбирать кодировку согласно правилу: чем больше вероятность , тем меньшее значение имеет . Очевидно, этому правилу удовлетворяет префиксный код, заданный таблицей

0	1	2
¼	½	¼
11	0	10

Средняя длина данного кода: .

Упражнение 15. д. с.в. задана распределением , $n=1,2,\ldots$ Найти энтропию этой д. с.в. Придумать минимальный код для , вычислить его среднюю длину и обосновать его минимальность.

Решение. Согласно формуле Шеннона[1],

Воспользуемся правилом, сформулированном в решении предыдущего упражнения. Префиксный код: , , и т. д. Очевидно, . Таким образом,

В силу того, что код минимален.

Упражнение 16. Про д. с.в. известно, что ее значениями являются буквы кириллицы. Произведен ряд последовательных измерений , результат которых - "ТЕОРИЯИНФОРМАЦИИ". Составить на основании этого результата приблизительный закон распределения вероятностей этой д. с.в. и оценить минимальную среднюю длину кодов для .

Решение. Приблизительный закон распределения

остальные

1/16

2/16

4/16

1/16

Энтропия, согласно формуле Шеннона

Оценка для минимальной длины кодов

Упражнение 17 Вычислить inf(s) и cont(s) предложения , про которое известно, что оно достоверно на 50%, и предложения s_2 , достоверность которого 25%.

Решение. Согласно определениям,

Упражнение 18 Вычислить $ML_1(\vec X)$ для блочного кода Хаффмена для . Длина блока - 2 бита. д. с.в. берется из последнего примера.

Решение. Распределение вероятностей для блочной с. в. из последнего примера и дерево Хоффмана

AA

AB

AC

BA

BB

BC

CA

CB

CC

0.16

0.08

0.16

0.08

0.04

0.08

0.16

0.08

0.16

0 1 0 1 1 0

0.24 1 1 1 0.24

0 0.12

0.4 0 1

0.2

1 0

0.36 0

0.6

0

1

Таким образом, кодировка Хаффмена

AA

AB

AC

BA

BB

BC

CA

CB

CC

100

101

11

00000

00001

0001

001

011

010

Средняя длина:

Упражнение 19 Вычислить и для кодов Хаффмена и Шеннона-Фэно для . д. с.в. задается следующим распределением вероятностей:

$\bigskip \centerline{\vbox{\offinterlineskip\halign{&\strut\quad#\cr X&\omit\ \vrule& 1& 2& 3& 4& 5\cr \noalign{\hrule} \omit\quad&\omit\ \vrule height2pt\cr p&\omit\ \vrule& \xfrac7{18}& \xfrac16& \xfrac16& \xfrac16& \xfrac19.\cr}}} \bigskip$

Решение. Энтропия согласно формуле Шеннона равна

.

Для построения кода Хаффмена построим соответствующее дерево:

1

2

3

4

5

7/18

1/6

1/6

1/6

1/9

1 0 0 1

1/3 5/18

1 0 1

11/18

0

1

Таким образом, код Хаффмена

1

2

3

4

5

1

001

000

011

011

Средняя длина

Кодировка Шеннона-Фано:

1

2

3

4

5

7/18

1/6

1/6

1/6

1/9

7/18-0

1/6-0

1/6-1

1/6-1

1/9-1

7/18-00

1/6-01

1/6-10

1/6-11

1/9-11

7/18-00

1/6-01

1/6-10

1/6-110

1/9-111

00

01

10

110

111

Средняя длина

[1] использована формула для суммы геометрической прогрессии .

Основные порталы (построено редакторами)

Домашний очаг
Дом • Дача • Садоводство • Дети • Активность ребенка • Игры • Красота • Женщины • (Беременность) • Семья • Хобби
Здоровье: • Анатомия • Болезни • Вредные привычки • Диагностика • Народная медицина • Первая помощь • Питание • Фармацевтика
История: СССР • История России • Российская Империя
Окружающий мир: Животный мир • Домашние животные • Насекомые • Растения • Природа • Катаклизмы • Космос • Климат • Стихийные бедствия
Справочная информация
Документы • Законы • Извещения • Утверждения документов • Договора • Запросы предложений • Технические задания • Планы развития • Документоведение • Аналитика • Мероприятия • Конкурсы • Итоги • Администрации городов • Приказы • Контракты • Выполнение работ • Протоколы рассмотрения заявок • Аукционы • Проекты • Протоколы • Бюджетные организации
Муниципалитеты • Районы • Образования • Программы
Отчеты: • по упоминаниям • Документная база • Ценные бумаги
Положения: • Финансовые документы
Постановления: • Рубрикатор по темам • Финансы • города Российской Федерации • регионы • по точным датам
Регламенты
Термины: • Научная терминология • Финансовая • Экономическая
Время: • Даты • 2015 год • 2016 год
Документы в финансовой сфере • в инвестиционной • Финансовые документы - программы
Техника
Авиация • Авто • Вычислительная техника • Оборудование • (Электрооборудование) • Радио • Технологии • (Аудио-видео) • (Компьютеры)
Общество
Безопасность • Гражданские права и свободы • Искусство • (Музыка) • Культура • (Этика) • Мировые имена • Политика • (Геополитика) • (Идеологические конфликты) • Власть • Заговоры и перевороты • Гражданская позиция • Миграция • Религии и верования • (Конфессии) • Христианство • Мифология • Развлечения • Масс Медиа • Спорт (Боевые искусства) • Транспорт • Туризм
Войны и конфликты: Армия • Военная техника • Звания и награды
Образование и наука
Наука: Контрольные работы • Научно-технический прогресс • Педагогика • Рабочие программы • Факультеты • Методические рекомендации • Школа • Профессиональное образование • Мотивация учащихся
Предметы: Биология • География • Геология • История • Литература • Литературные жанры • Литературные герои • Математика • Медицина • Музыка • Право • Жилищное право • Земельное право • Уголовное право • Кодексы • Психология (Логика) • Русский язык • Социология • Физика • Филология • Философия • Химия • Юриспруденция
Мир
Регионы: Азия • Америка • Африка • Европа • Прибалтика • Европейская политика • Океания • Города мира
Россия: • Москва • Кавказ
• Регионы России • Программы регионов • Экономика
Бизнес и финансы
Бизнес: • Банки • Богатство и благосостояние • Коррупция • (Преступность) • Маркетинг • Менеджмент • Инвестиции • Ценные бумаги: • Управление • Открытые акционерные общества • Проекты • Документы • Ценные бумаги - контроль • Ценные бумаги - оценки • Облигации • Долги • Валюта • Недвижимость • (Аренда) • Профессии • Работа • Торговля • Услуги • Финансы • Страхование • Бюджет • Финансовые услуги • Кредиты • Компании • Государственные предприятия • Экономика • Макроэкономика • Микроэкономика • Налоги • Аудит
Промышленность: • Металлургия • Нефть • Сельское хозяйство • Энергетика
Строительство • Архитектура • Интерьер • Полы и перекрытия • Процесс строительства • Строительные материалы • Теплоизоляция • Экстерьер • Организация и управление производством

1	2	3	4	5
7/18	1/6	1/6	1/6	1/9
7/18-0	1/6-0	1/6-1	1/6-1	1/9-1
7/18-00	1/6-01	1/6-10	1/6-11	1/9-11
7/18-00	1/6-01	1/6-10	1/6-110	1/9-111
00	01	10	110	111