Сообщение

Большая Советская Энциклопедия      Постоянная ссылка | Все категории

Сообщение в теории информации, всякий носитель информации. При этом теория информации интересуется лишь количественной стороной информации, содержащейся в С. Понятие С. в теории информации имеет существенно вероятностный характер: каждый источник информации (или источник С.) задаётся перечислением возможных С. и соответствующих им вероятностей. Пусть x1, х2,…, xn — возможные С., a p1, p2,…, pn — соответствующие вероятности. Тогда количество информации в С. xi принимают равным . Среднее количество информации в С. данного источника (его энтропия), т. е. сумма

является важнейшей характеристикой источника. Именно величина энтропии определяет возможности передачи и хранения С., производимых источником.

Пример. Пусть источником С. являются результаты N последовательных измерений с точностью до 0,1 некоторой физической величины, равномерно распределённой в интервале от нуля до единицы. Тогда, если указывать только число десятых (с недостатком), возможными результатами отдельного измерения будут числа 0,1….,9. Вероятность появления каждого из них равна 0,1. С. в данном примере представляются N-членными последовательностями цифр. Вероятность каждого С. равна (0,1) N. Количество информации в каждом С. и энтропия источника равны Nlog2 10 = 3,32N двоичных единиц. Можно сказать, что источником С. в этом примере является случайная последовательность десятичных знаков (цифр) длины N. Именно такую форму случайных последовательностей знаков (или более общим образом — форму случайных процессов) имеют источники С.. рассматриваемые в теории информации.

При изучении конкретных типов С., таких, как письменная речь, телеграфные, телефонные или телевизионные сигналы, обычно строится та или иная приближённая вероятностная модель источника С. Так, с достаточной для целей теории информации точностью в качестве модели русской письменной речи может быть принята т. н. сложная цепь Маркова. Для непрерывных С. в качестве моделей используются стационарные случайные процессы. Построение подобных моделей опирается на обширные статистические данные, касающиеся рассматриваемых процессов.

Ю. В. Прохоров.






Большая Советская Энциклопедия      Постоянная ссылка | Все категории
Мы в соцсетях:




Архивы pandia.ru
Алфавит: АБВГДЕЗИКЛМНОПРСТУФЦЧШЭ Я

Новости и разделы


Авто
История · Термины
Бытовая техника
Климатическая · Кухонная
Бизнес и финансы
Инвестиции · Недвижимость
Все для дома и дачи
Дача, сад, огород · Интерьер · Кулинария
Дети
Беременность · Прочие материалы
Животные и растения
Компьютеры
Интернет · IP-телефония · Webmasters
Красота и здоровье
Народные рецепты
Новости и события
Общество · Политика · Финансы
Образование и науки
Право · Математика · Экономика
Техника и технологии
Авиация · Военное дело · Металлургия
Производство и промышленность
Cвязь · Машиностроение · Транспорт
Страны мира
Азия · Америка · Африка · Европа
Религия и духовные практики
Секты · Сонники
Словари и справочники
Бизнес · БСЕ · Этимологические · Языковые
Строительство и ремонт
Материалы · Ремонт · Сантехника