Количество информации как мера уменьшения неопределенности знаний

Процесс познания окружающего мира приводит к накоплению информации в форме знаний. Информацию, которую получает человек, можно считать мерой уменьшения неопределенности знаний. Если некоторое сообщение приводит к уменьшению неопределенности наших знаний, можно говорить о том, что это сообщение содержит информацию.

Такой подход к информации как к мере уменьшения неопределенности знаний позволяет измерять информацию количественно.

Сообщение, уменьшающее неопределенность знания в 2 раза, несет один бит информации (например, при подбрасывании монеты может выпасть либо «орел», либо «решка». Это два возможных события. Они равновероятны. Перед броском существует неопределенность наших знаний (возможны два события). После броска наступает полная определенность, так как мы видим, что монета находится в определенном положении. Сообщение о том, что произошло одно из двух равновероятных событий(например, выпала «решка»), уменьшает неопределенность нашего знания (перед броском монеты) в два раза. Минимальное количество событий для выбора – два (иначе нет выбора), поэтому бит – минимальная единица измерения информации. Если даже события неравновероятны, то возможен подсчет вероятности выпадения каждого события. Под неопределенностью знания здесь понимают количество возможных событий, их может быть больше, чем два. Если сообщение об одном из двух возможных событий несет один бит информации, то выбор одного из четырех возможных событий несет два бита информации. Можно прийти к такому выводу, пользуясь методом половинного деления. Сколько вопросов необходимо задать, чтобы выяснить необходимое, столько битов и содержит сообщение. Вопросы должны быть сформулированы так, чтобы на них можно было ответить «да» или «нет», тогда каждое из них будет уменьшать количество возможных событий в 2 раза. 

НЕ нашли? Не то? Что вы ищете?

Содержательный подход к измерению информации

При определении количества информации на основе уменьшения неопределенности знаний информация рассматривается с точки зрения содержания, ее понятности и новизны для человека. С этой точки зрения при выпадении «орла» или «решки» в примере с бросанием монеты содержится одинаковое количество информации, так как оба эти события равновероятны.

Существует формула, которая связывает между собой количество возможных равновероятных событий N и количество информации  i: N = 2i.

Заполним по формуле таблицу:


Количество битов

0

1

2

3

4

5

6

7

8

9

10

Количество событий

1

2

4

8

16

32

64

128

256

512

1024

Чтобы воспользоваться рассмотренным подходом, необходимо вникать в содержание сообщения.

Алфавитный подход к измерению информации

При хранении, и передаче информации с помощью технических средств информацию рассматривают как  последовательность знаков – цифр, букв, кодов и т. д.

Набор символов знаковой системы (алфавит) можно рассматривать как различные возможные состояния (события). Тогда, если считать, что появление символов в сообщении равновероятно, можно воспользоваться известной формулой для определения возможных событий, по которым можно рассчитать, какое количество информации N несет каждый символ:

N = 2i, где i – количество символов знаковой системы (иначе его называют мощностью алфавита).

Таким образом, количество информации, которое содержит сообщение, закодированное с помощью знаковой системы, равно количеству информации, которое несет один знак, умноженному на количество знаков.

Алфавитный подход к измерению информации основан на подсчете числа символов в сообщении:

Такой подход к измерению количества информации называется алфавитным подходом. Важно, что при алфавитном подходе к измерению информации, количество информации не зависит от ее содержания, а зависит от объема текста и от мощности алфавита.

N – количество знаков в алфавите (мощность алфавита);

i – количество информации, которую несет каждый из N знаков, определяется по формуле:

  2i = N

Остается подсчитать количество информации в тексте из k символов:

  I = k * i

P. S: алфавитный подход не связывает количество информации с содержанием сообщения, позволяет реализовать передачу, хранение и обработку информации с помощью технических устройств.

Единицы измерения количества информации.

Для определения количества информации введены специальные единицы измерения.

За единицу принимается такое количество информации, которое содержит сообщение, уменьшающее неопределенность знаний в два раза. Такая единица называется бит (bit – от английского словосочетания Binary digiT).

Следующая по величине единица – байт, 1 байт – это количество информации об одном символе (букве, цифре, знаке).

1 байт - 23 бит = 8 бит.

Далее следуют:

1 Кбайт (килобайт) = 1024 байта;

1 Мбайт (мегабайт) = 1024 Кбайт;

1 Гбайт (гигабайт) = 1024 Мбайт;

1 Тбайт (терабайт) = 1024 Гбайт;

1 Пбайт (петабайт) = 1024 Тбайт;

1 Эбайт (экзабайт) = 1024 Пбайт;

1 Збайт (зетабайт) = 1024 Эбайт;

1 Йбайт (Йотабайт) = 1024 Збайт.