Лабораторная работа №6. Типичные и нетипичные комбинации источника дискретных сообщений
Все последовательности, длинной 
выдаваемые дискретным источником сообщений можно разделить на типичные и не типичные. Например, типичная комбинация для дискретного источника сообщений, выдающий осмысленный текст на русском языке, это слова с средней длинной символов. Не типичная комбинация, в этом случае будет бессмысленный набор символов длинной .
Если, в качестве выходной информации источника рассматривать типичные комбинации (обозначим его как 
), то максимально возможная энтропия такого источника будет равна
В этом случае энтропию исходного источника сообщений, через количество типичных комбинаций 
можно записать как
Исходя из (6.1) количество типичных комбинаций можно выразить как
(6.2)
С учетом того, что избыточность источника 
, 
, формулу (6.2) можно переписать как
.
Общее количество комбинаций источника дискретных сообщений длиной равно
Соотношение между типичными и нетипичными комбинациями можно выразить как
, (6.3)
. (6.4)
Например, если в качестве источника дискретных сообщений рассмотреть текст, написанный на русском языке, то средняя длинна слова будет равна шести символам. Будем рассматривать в качестве типичной комбинации рассматривать осмысленные слова, а в качестве нетипичной комбинации бессмысленный набор символов длинной в шесть символов.
В этом случае при 
и 
,
.
Исходя из выше изложенного можно утверждать, что всего в русском языке можно построить 
возможных слов, но осмысленными из них будет только 
слов.
Выполнение лабораторной работы
Для выполнения лабораторной работы необходимо запустить программу лабораторной работы TIPSlab6.exe и загрузить в окно программы текстовый файл. Ознакомится с информационными характеристиками рассматривая в качестве источника сообщений последовательно: слова, буквы, биты.
Сравнить информационные характеристики источников дискретных сообщений (для слов, букв, бит) с учетом реальных длин последовательностей символов кодирующих устройств (для слов – букв, для букв – бит).
В качестве текста для обработки рекомендуется взять электронные издания, доступные в сети Internet. Например, на рис. 6.1 приведены результаты обработки поэмы «Мертвые души». Для более точных результатов анализа рекомендуется конвертировать текст к одному регистру и избавится от всех знаков препинания, переносов и тп. Данную операцию удобнее всего проделать в Ms Word, после чего сохранить файл в формате текста.
Рис.6.1. Внешний вид программы лабораторной работы и результаты расчета
Содержание отчета
Отчет по лабораторной работе должен содержать:
1. Информационные характеристики выбранного Вам текса, представленные последовательно для слов, букв, бит.
2. Результаты Вашего расчета количества типичных комбинаций бит и букв.
3. Сравнение результатов и выводы по лабораторной работе.
