Измерение информации

Измерение информации.

Теория.

ПОДХОД - объемный. Измерение информации в технике (информация как сообщения в форме знаков или сигналов, хранимые, передаваемые и обрабатываемые с помощью технических устройств).

В технике, где информацией считается любая хранящаяся, обрабатываемая или передаваемая последовательность знаков, сигналов, часто используют простой способ определения количества информации, который может быть назван объемным. Он основан на подсчете числа символов в сообщении, то есть связан только с длиной сообщения и не учитывает его содержания.

Длина сообщения зависит от числа знаков, употребляемых для записи сообщения. Например, слово “мир” в русском алфавите записывается тремя знаками, в английском - пятью (peace), а в КОИ -8 - двадцатью четырьмя битами (111011011110100111110010).

ПРИМЕР

Исходное сообщение	Количество информации
на языке	в машинном представлении (КОИ - 8)	в символах	в битах	в байтах
рим	11110010 11101001 11101101	3	24	3
мир	11101101 11101001 11110010	3	24	3
миру мир!	11101101 11101001 11110010 11110101 00100000 11101101 1110101 11110010 00100001	9	72	9
(** */	00101000 00101010 00101010 00100000 00101010 00101111	6	48	6

В вычислительной технике применяются две стандартные единицы измерения: бит (англ. binarydigit - двоичная цифра) и байт (byte).

Каждый символ в настоящее время в вычислительной технике кодируется 8-битным или 16-битным кодом. Поэтому, для удобства была введена более “крупная” единица информации в технике (преимущественно в вычислительной) - байт. Поскольку компьютер предназначен для обработки больших объемов информации, то используют производные единицы - килобайт (Кб), мегабайт (Мб), гигабайт (Гб).

В силу этого один килобайт равен не тысяче байтов, а 210 = 1024 байтов.

Аналогично, 1 Мб = 210 Кб = 1024 Кб = 220 байт = 1 048 576 байт.

1 Гб = 210 Мб = 220 Кб = 230 байт = 1 073 741 824 байт.

Формулы для расчетов

N=2i i=log2N I=K*i

N - полное количество символов в алфавите i - количество информации, которое несет каждый символ K - размер текста I - размер информации, содержащейся в тексте

ПОДХОД - вероятностный. Измерение информации в теории информации (информация как снятая неопределенность)

Получение информации (ее увеличение) одновременно означает увеличение знания, что, в свою очередь, означает уменьшение незнания или информационной неопределенности.

За единицу количества информации принимают выбор одного из двухравновероятных сообщений (“да” или “нет”, “1” или “0”). Она также названа бит. Вопрос ценности этой информации для получателя - это уже из иной области.

Сообщение о том, как упала монета после броска - “орлом” или “решкой”, несет один бит информации.

В соревновании участвуют 4 команды. Сообщение о том, что третья команда набрала большее количество очков, уменьшает первоначальную неопределенность ровно в четыре раза (дважды по два) и несет два бита информации.

Очень приближенно можно считать, что количество информации в сообщении о каком-то событии совпадает с количеством вопросов, которые необходимо задать и ответом на которые могут быть лишь “да” или “нет”, чтобы получить ту же информацию. Причем событие, о котором идет речь, должно иметь равновероятные исходы.

Научный подход к оценке сообщений был предложен еще в 1928 году Р. Хартли. Расчетная формула имеет вид: I = log2 N или 2I = N,

Задача1 : В корзине лежит 16 шаров разного цвета. Сколько информации несет сообщение, что достали белый шар?

т. к. N = 16 шаров,  то  I = log2 N = log2 16 = 4 бит.

Иногда формула Хартли записывается иначе. Так как наступление каждого из N возможных событий имеет одинаковую вероятность p = 1 / N, то N = 1 / p и формула имеет вид I = log2 (1/p) = - log2 p

Задача 2.

В языке племени Мумбо-Юмбо всего 20 разных слов. Сколько бит нужно, чтобы закодировать любое из этих слов?

Решение.

По условию задачи у нас имеется 20 различных вариантов.

Количество бит информации, необходимое для задания 20 равновероятных (одинаково принимаемых в расчет) вариантов можно рассчитать по формуле:

log2 20» 4,32 бит

или при выборе двухсимвольного алфавита для кодирования достаточно составить слово из 5 бит.

Более общий случай вычисления количества информации в сообщении об одном из N, но уже неравновероятных событий был предложен К. Шенноном в 1948 году.

Формула Шеннона

I - количество информации;

N - количество возможных событий;

рi - вероятность i-го события (р = К/N, К – величина, показывающая, сколько раз произошло интересующее нас событие).

Задача3: Какое количество информации будет содержать зрительное сообщение о цвете вынутого шарика, если в непрозрачном мешочке находится 50 белых, 25красных, 25 синих шариков

1) всего шаров 50+25+25=100

2) вероятности шаров 50/100=1/2, 25/100=1/4, 25/100=1/4

3)I= -(1/2* log21/2 + 1/4* log21/4 + 1/4 *log21/4) = -(1/2*(-1) +1/4*(-2) +1/4*(-2)) = 1,5 бит

Пример - чтобы сосчитать log21/4 на калькуляторе:

1. Считаем log101/4( на кнопке просто log)= -0.6020599

2. Считаем log102 =0.3010299

3. Выполняем деление log10А на log102. -0.6020599/0.3010299= -2

Задача4 : Пусть при бросании несимметричной четырехгранной пирамидки вероятности выпадения граней будут следующими: p1=1/2, p2=1/4, p3=1/8, p4=1/8, тогда количество информации, получаемое после броска, можно рассчитать по формуле:

Для симметричной четырехгранной пирамидки количество информации будет: I=log24=2(бит).Так как выпадение сторон равновероятны.
Для симметричной пирамидки количество информации оказалось больше, чем для несимметричной пирамидки. Максимальное значение количества информации достигается для равновероятных событий.

Решите задачи.

1.  Определите количество информации в своей фамилии при условии, что для кодирования фамилий будет использоваться 32-символьный алфавит.

2.  Алфавит некоторого языка состоит из 32 символов. За сколько секунд мы сможем передать текст из 1600 оптимально закодированных символов этого алфавита, если скорость передачи составляет 100 байт в секунду?

3.  В языке некоторого племени всего 16 различных букв. Все слова состоят из 5 букв, всего в языке 8000 различных слов. Сколько компьютерной памяти заведомо потребуется для хранения всех слов этого языка?

4.  На железнодорожном вокзале 8 путей отправления поездов. Вам сообщили, что ваш поезд прибывает на четвёртый путь. Сколько информации вы получили?

5.  Сообщение о том, что ваш друг живёт на 10 этаже, несёт 4 бита информации. Сколько этажей в доме?

6.  За четверть ученик получил 100 оценок. Сообщение о том, что он получил пятёрку, несёт 2 бита информации. Сколько пятёрок ученик получил за четверть?

7.  Вы бросаете два кубика с нанесенными на гранях цифрами от 1 до 6.

Определите, сколько бит информации несет сообщение, что на одном кубике выпала тройка, а на другом - пятерка.

8.  В корзине лежат 8 чёрных шаров и 24 белых. Сколько информации несёт сообщение о том, что достали чёрный шар?

9.  В корзине лежат 8 чёрных шаров и 24 белых. Сколько информации несёт сообщение о том, что достали шар?

10.  В коробке находятся кубики трех цветов: красного, желтого и зеленого. Причем желтых в два раза больше красных, а зеленых на 6 больше чем желтых. Сообщение о том, что из коробки случайно вытащили желтый кубик, содержало 2 бита информации. Сколько было зеленых кубиков?