КОЛИЧЕСТВО И ЕДИНИЦЫ ИЗМЕРЕНИЯ ИНФОРМАЦИИ
На первом занятии мы говорили с вами о вещественно–энергетической картине мира и о том, что в настоящее время эта картина дополнена информационной составляющей. Вы знаете, что вещество и энергию можно измерить. Оказывается, информацию тоже можно измерять, находить ее количество.
Существуют два подхода к измерению информации:
· вероятностный
· алфавитный.
1. Вероятностный подход к измерению информации.
Пусть у нас имеется монета, которую мы бросаем на ровную поверхность. С равной вероятностью произойдет одно из двух возможных событий – монета окажется вверх «орлом» или «решкой». Перед броском существует неопределенность наших знаний (возможны два события). Заранее предсказать, как упадет монета невозможно. После броска наступает полная определенность, так как мы видим положение монеты. Это приводит к уменьшению неопределенности наших знаний в два раза, поскольку из двух возможных равновероятных событий одно произошло.
А если обе стороны монеты – это «орел»? существует ли неопределенность знаний перед броском монеты? Нет. Значит новой информации в результате опыта мы не получим, т. е. количество информации в этом случае равно 0.
Определение. Количество информации, которое содержится в сообщении о том, что произошло одно из двух равновероятных событий, принято за единицу информации и называется 1 бит.
Если у нас имеется шестигранный кубик, то мы тоже заранее не знаем, какой стороной он упадет. В этом случае возможно получить один из шести равновероятных результатов. После бросания кубика мы получаем зрительное сообщение о результате, и неопределенность наших знаний уменьшается в шесть раз!
Вывод: чем больше начальное число возможных равновероятных событий, тем большее количество информации будет содержать сообщение о результатах опыта.
Имеется формула, которая связывает между собой число возможных событий N и количество информации I (формула Хартли):
N=2I
По этой формуле легко определить число возможных событий, если известно количество информации.
Наоборот, для определения количества информации нужно решить уравнение
I=log2N
По этой формуле можно вычислить количество информации, которое мы получим, если произойдет одно из двух равновероятных событий:
I=log22=1
2. Неравновероятные события.
До сих пор мы говорили о равновероятных событиях. Рассмотрим более общий случай, когда результаты опыта имеют разную вероятность (в корзине 2 белых шара и один черный). Каждый такой выбор уменьшит степень неопределенности о результатах опыта и, следовательно, увеличит количество информации о нем. Но вероятность вытащить белый шар выше, чем черный. Для определения среднего значения количества информации, приходящейся в данном случае на один символ алфавита, применяется формула:
I=log2(1/p), где I – это количество информации, p – вероятность события.
Учитывая, что вероятность невозможного события равна 0, а вероятность достоверного события равна 1, вероятность случайного события выражается в долях единицы и вычисляется по формуле
P=K/N, где K - величина, показывающая, сколько раз произошло интересующее нас событие, N – общее число возможных исходов какого-либо процесса.
В общем случае:
I=
, где m – число опытов;
Pi – вероятность события
В случае равновероятных выборов pi=1/m. Подставляя это значение в исходное равенство, получаем
m раз
3. Второй способ измерения информации называется алфавитный.
При алфавитно-цифровом представлении информации любое слово, являющееся последовательностью символов, становится информацией. Число символов в слове называется его длиной.
Определение. Полный набор символов, который может встретиться в кодируемой последовательности, называется алфавитом, а количество символов в алфавите – предельной мощностью алфавита.
Каждый новый символ увеличивает количество информации, представленной последовательностью символов выбранного алфавита. Для измерения количества информации надо выбрать соответствующий эталон (как выбирали грамм, метр и проч.). Эталоном для подсчета количества информации, представленной последовательностью символов, логично считать слово минимальной длины, т. е. состоящее из одного символа.
Сравнивая с этим эталоном, можно установить количество информации, содержащейся в слове, записанном в том же двоичном алфавите. Величину, способную принимать лишь два конкретных значения 0 или 1 называют бит – от англ. binary digit – двоичный знак.
Общая формула имеет вид:
N=2m, где N – предельное число кодируемых значений, а m – разрядность кода.
Правило измерения информации с точки зрения алфавитного подхода:
1) Найти мощность алфавита N.
2) Найти мощность информационного объема символа I=log2N.
3) Найти количество символов в сообщении K.
4) Найти информационный объем всего сообщения Kтекста=K×I.
