Для того чтобы количество информации имело положительное значение, необходимо получить сообщение о том, что произошло событие минимум из двух равновероятных. Такое количество информации, которое находится в сообщении о том, что произошло одно событие из двух равновероятных, принято за единицу измерения информации и равно 1 биту.
Сообщение, уменьшающее неопределенность знаний человека в два раза, несет для него 1 бит информации.
1 бит – это количество информации, уменьшающее неопределенность знаний в два раза.
Игра «Угадай число».
Стратегия игры
Необходимо на каждом шаге в два раза уменьшать неопределенность знания: т. е. задавать вопросы, делящие числовой интервал на два. Тогда ответ «Да» или «Нет» будет содержать 1 бит информации. Подсчитав общее количество битов (ответов на вопросы), найдем полное количество информации, необходимое для отгадывания числа.
Например, загадано число 5 из интервала от 1 до 16.
Неопределенность знаний перед угадыванием равна 16 (заполнить таблицу самостоятельно)
Вопрос | Ответ | Неопределенность | Полученное количество информации |
Число больше 8? | |||
Число больше 4? | |||
Число больше 6? | |||
Число 5? | |||
Итого: |
Пусть в некотором сообщении содержатся сведения о том, что произошло одно из N равновероятных событий (равновероятность обозначает, что ни одно событие не имеет преимуществ перед другими). Тогда количество информации, заключенное в этом сообщении, — i бит и число N связаны формулой:
2i = N
Данная формула является показательным уравнением относительно неизвестной i. Из математики известно, что решение такого уравнения имеет вид:
i = log2N
— логарифм от N по основанию 2.
Если N равно целой степени двойки (2, 4, 8, 16 и т. д.), то такое уравнение можно решить «в уме».
i | 1 | 2 | 3 | 4 | 5 | 6 | 7 | 8 | 9 | 10 |
N=2i |
В противном случае количество информации становится нецелой величиной, и для решения задачи придется воспользоваться калькулятором.
Пример. В барабане для розыгрыша лотереи находится 32 шара. Сколько информации содержит сообщение о первом выпавшем номере (например, выпал номер 15)? Поскольку вытаскивание любого из 32 шаров равновероятно, то количество информации об одном выпавшем номере находится из уравнения:
2i = 32.
Но 32 = 25. Следовательно, i = 5 бит.
Очевидно, ответ не зависит от того, какой именно выпал номер.
Пример. При игре в кости используется кубик с шестью гранями. Сколько бит информации получает игрок при каждом бросании кубика? Выпадение каждой грани кубика равновероятно. Поэтому количество информации от одного результата бросания находится из уравнения:
2i = 6.
Решение этого уравнения: i=log26.
Решение:
Запустим калькулятор:
Пуск®Программы®Стандартные®Калькулятор (Инженерный вид)
Калькулятор может вычислить только десятичный и натуральный логарифм. Поэтому можно воспользоваться следующим приемом для вычисления логарифма:
Решение:
§ ввести в окно индикатора число 2 ;
§ нажать кнопку Ln (вычисление натурального логарифма);
§ запомнить ответ в памяти, нажав кнопку MS (запись числа из окна индикатора в память);
§ очистить окно индикатора (Esc);
§ ввести в окно индикатора число 6 ;
§ нажать кнопку Ln ;
§ нажать кнопку / (операция деления);
§ нажать кнопку MR (вывод числа из памяти в окно индикатора);
§ нажать кнопку = (получение ответа).
i=2,585 бит
Задание: вычислите логарифмы и сравните ответы:
Пример | Ответ |
Log2 16 | |
Log3 27 | |
Log4 16 | |
Log2 256 | |
Log2 11 |
Блок задач №2 (неравновероятные события)
1. В корзине лежат 8 черных шаров и 24 белых. Сколько информации несет сообщение о том, что достали черный шар?
2. В корзине лежат 32 клубка шерсти. Среди них – 4 красных. Сколько информации несет сообщение о том, что достали клубок красной шерсти?
3. В коробке лежат 64 цветных карандаша. Сообщение о том, что достали белый карандаш, несет 4 бита информации. Сколько белых карандашей было в корзине?
4. В ящике лежат перчатки (белые и черные). Среди них – 2 пары черных. Сообщение о том, что из ящика достали пару черных перчаток, несет 4 бита информации. Сколько всего пар перчаток было в ящике?
5. В классе 30 человек. За контрольную работу по математике получено 6 пятерок, 15 четверок, 8 троек и 1 двойка. Какое количество информации в сообщении о том, что Иванов получил четверку?
6. Известно, что в ящике лежат 20 шаров. Из них 10 – черных,
5 – белых, 4 – желтых и 1 – красный. Какое количество информации несут сообщения о том, что из ящика случайным образом достали черный шар, белый шар, желтый шар, красный шар?
7. За четверть ученик получил 100 оценок. Сообщение о том, что он получил четверку, несет 2 бита информации. Сколько четверок ученик получил за четверть?
8. Для ремонта школы использовали белую, синюю и коричневую краски. Израсходовали одинаковое количество банок белой и синей краски. Сообщение о том, что закончилась банка белой краски, несет 2 бита информации. Синей краски израсходовали 8 банок. Сколько банок коричневой краски израсходовали на ремонт школы?
9. В корзине лежат белые и черные шары. Среди них 18 черных шаров. Сообщение о том, что из корзины достали белый шар, несет 2 бита информации. Сколько всего в корзине шаров?
10. На остановке останавливаются троллейбусы с разными номерами. Сообщение о том, что к остановке подошел троллейбус с номером N1 несет 4 бита информации. Вероятность появления на остановке троллейбуса с номером N2 в два раза меньше, чем вероятность появления троллейбуса с номером N1. Сколько информации несет сообщение о появлении на остановке троллейбуса с номером N2?
HELP
Измерение количества информации (неравновероятные события)
Рассмотрим несколько примеров.
1. В коробке имеется 50 шаров. Из них 40 белых и 10 черных.
2. Сережа – лучший ученик в классе.
3. В пруду живут 8 000 карасей, 2 000 щук и 40 000 пескарей.
Очевидно, вероятность того, что при вытаскивании «не глядя» попадется белый шар больше, чем вероятность попадания черного.
Вероятность того, что за контрольную по математике Сережа получит «5» больше, чем вероятность получения двойки.
Самая большая вероятность для рыбака – поймать в этом пруду пескаря, на втором месте – карась, на третьем – щука.
Выше сделаны качественные заключения о вероятностях событий, которые интуитивно понятны. Однако вероятность может быть выражена количественно.
Пример 1. Обозначим рч – вероятность попадания при вытаскивании черного шара, рб – вероятность попадания белого шара. Тогда:
рч = 10/50 = 0,2
рб = 40/50 = 0,8
Отсюда видно, что вероятность попадания белого шара в 4 раз больше, чем черного.
Пример 2. Представим себе, что мы изучили успеваемость Сережи за несколько лет учебы. За это время он получил по математике 100 оценок. Из них: 60 пятерок, 30 четверок, 8 троек и
2 двойки. Допуская, что такое распределение оценок может сохраниться и в дальнейшем, вычислим вероятность получения каждой из оценок.
р5 = 60/100 = 0,6
р4 = 30/100 = 0,3
р3 = 8/100 = 0,08
р2 = 2/100 = 0,02
Пример 3. Всего в пруду обитают 50 000 рыб. Из предыдущих примеров можно догадаться, что вероятность попадания на удочку каждого из видов рыб равна его доле в общем количестве. Отсюда:
рк = 8000/50000 = 0,16;
рщ = 2000/50000 = 0,04;
рп = 40000/50000 = 0,8.
Из рассмотренных примеров можно сделать вывод:
если N — это общее число возможных исходов какого-то процесса (вытаскивание шара, получение оценки, ловля рыбы), и из них интересующее нас событие (вытаскивание белого шара, получение пятерки, попадание щуки) может произойти К раз, то вероятность этого события равна
p = K/N
Вероятность выражается в долях единицы. В частном случае, вероятность достоверного события равна 1 (из 50 белых шаров вытащен белый шар); вероятность невозможного события равна нулю (из 50 белых шаров вытащен черный шар).
Качественную связь между вероятностью события и количеством информации в сообщении об этом событии можно выразить так: чем меньше вероятность некоторого события, тем больше информации содержит сообщение об этом событии.
Например, сообщение о том, что Сережа получил двойку по математике, содержит больше информации для тех, кто его знает, чем сообщение о пятерке. Сообщение, что рыбак поймал в пруду щуку, более информативно, чем сообщение о том, что на удочку попался пескарь.
Количественная зависимость между вероятностью события (р) и количеством информации в сообщении о нем (i) выражается формулой:
|
Из за большого объема этот материал размещен на нескольких страницах:
1 2 3 4 5 |
