Теория информации и кодирование как научное направление (стр. 1 )

1. Теория информации и кодирование как научное направление

Теория информации – наука с точно известной датой рождения. Ее появление на свет связывают с публикацией Клодом Шенноном работы “Математическая теория связи” в 1948 г. С тех пор теория информация прошла большой путь, обогатилась огромным числом интересных научных открытий и доказала свою практическую важность. Сегодня в повседневный обиход вошли высокоскоростные модемы для телефонных каналов, лазерные компакт-диски для хранения информации, жесткие диски большой емкости для персональных компьютеров, мобильные телефонные аппараты для сотовых систем связи и многие другие устройства, создание которых было бы невозможно без привлечения методологии и математического аппарата, разработанных в рамках теории информации.

Хотя теории информации часто приписывают несколько более широкое значение, применяя ее методологию в естествознании и искусстве, с точки зрения самого Шеннона, она может корректно рассматриваться только как раздел математической теории связи.

2. Вопросы и задачи теории информации и кодирования

Теория информации представляет собой математическую теорию, посвященную измерению информации, ее потока, "размеров" канала связи и т. п., особенно применительно к радио, телеграфии, телевидению и к другим средствам связи. Первоначально теория была посвящена каналу связи, определяемому длиной волны и частотой, реализация которого была связана с колебаниями воздуха или электромагнитным излучением. Обычно соответствующий процесс был непрерывным, но мог быть и дискретным, когда информация кодировалась, а затем декодировалась. Кроме того, теория информации изучает методы построения кодов, обладающих полезными свойствами.

3. Модель системы передачи информации

Круг задач теории информации можно пояснить с помощью представленной на рис.1 структурной схемы типичной системы передачи или хранения информации.

Рис.1.Типичная система передачи (хранения) информации

В этой схеме под источником понимается любое устройство или объект живой природы, порождающие сообщения, которые должны быть перемещены в пространстве или во времени. Это может быть клавиатура компьютера, человек, аналоговый выход видеокамеры и т. п. Поскольку, независимо от изначальной физической природы, все подлежащие передаче сообщения обычно преобразуются в форму электрических сигналов, именно такие сигналы рассматриваются как выход источника.

Цель кодера источника – представление информации в наиболее компактной форме. Это нужно для того, чтобы эффективно использовать ресурсы канала связи либо запоминающего устройства.

Далее следует кодер канала, задачей которого является обработка информации с целью защиты сообщений от помех при передаче по каналу связи либо возможных искажений при их хранении.

Модулятор служит для преобразования сообщений, формируемых кодером канала, в сигналы, согласованные с физической природой канала связи или средой накопителя информации.

Канал связи - это среда передачи информации, которая характеризуется, в первую очередь, максимально возможной для нее скоростью передачи данных или, другими словами, емкостью канала связи.

Кодирование - преобразование дискретной информации одним из следующих способов: шифрование, сжатие, защита от шума.

Шум - это помехи в канале связи при передаче информации.

Остальные блоки, расположенные на приемной стороне, выполняют обратные операции и предоставляют получателю информацию в удобном для использования виде.

4. Модель сигналов и их классификация

Знаками будем называть реальные различимые получателем материальные объекты: буквы, цифры, предметы.

Сигналами будем называть динамические процессы, т. е. процессы, изменяющиеся со временем, или колебания величины любой природы: напряжения, давления, электромагнитного поля и др. В теории информации понятия «знак» и «сигнал» часто взаимозаменяемы без ущерба однозначности. Допуская значительную нестрогость, сигналами часто называют любые воздействия, которые могут принимать некоторое множество значений.

Из знаков или сигналов строятся последовательности, которые называются сообщениями. Элементарными сообщениями являются каждый из знаков или сигналов. Сообщения или их последовательность несут информацию получателю.

Множество всех знаков или сигналов называют алфавитом, из которого строятся сообщения. Знаки чаще используются для хранения сообщений (информации); сигналы же — для переноса сообщений из одной точки пространства в другую. В этом случае знакам однозначно сопоставляются сигналы. Правило, по которому производится сопоставление, называется правилом кодирования или сокращенно «кодом». Процесс сопоставления называется кодированием. В более широком смысле под кодированием понимается любое сопоставление, в том числе одних знаков или сигналов другим. Процесс, обратный выбранному кодированию, называется декодированием.

5. Дискретные и непрерывные каналы связи

Различают две формы представления информации — непрерывную и дискретную.

Чтобы сообщение было передано от источника к получателю, необходима некоторая материальная субстанция – носитель информации. Сообщение, передаваемое с помощью носителя, назовем сигналом. В общем случае сигнал – это изменяющийся во времени физический процесс.

В случае, когда параметр сигнала принимает последовательное во времени конечное число значений, сигнал называется дискретным, а сообщение, передаваемое с помощью таких сигналов - дискретным сообщением. Информация, передаваемая источником, в этом случае также называется дискретной.

Если же источник вырабатывает непрерывное сообщение (соответственно параметр сигнала – непрерывная функция от времени), соответствующая информация называется непрерывной.

Пример дискретного сообщения – процесс чтения книги, информация в которой представлена текстом, т. е. дискретной последовательностью отдельных значков (букв). Примером непрерывного сообщения служит человеческая речь, передаваемая модулированной звуковой волной; параметром сигнала в этом случае является давление, создаваемое этой волной в точке нахождения приемника – человеческого уха.

6. Дискретный вероятный ансамбль как модель источника информации

Предположим, что источник сообщений может в каждый момент времени случайным образом принять одно из конечного множества возможных состояний. Такой источник называют дискретным источником сообщений. При этом принято говорить, что различные состояния реализуются вследствие выбора их источника. Каждому состоянию источника U ставиться в соответствие условное обозначение в виде знака. Совокупность знаков u1, u2,:,ui,:,uN соответствующих всем N возможным состояниям источника называют его алфавитом, а количество состояний N объемом алфавита. Формирование таким источником сообщений сводиться к выбору им некоторого состояния ui и выдачи соответствующего знака. Таким образом, под элементарным дискретным сообщением будем понимать символ ui выдаваемое источником, при этом в течение некоторого времени Т источник может выдать дискретное сообщение в виде последовательности элементарных дискретных сообщений, представляющей сбой набор символов ui (например, u5, u1, u3) каждый из которых имеет длительность ti секунд. В общем случае необязательно одинаковую для различных i. Такая модель источника сообщений соответствует реальной ситуации имеющей место в телеграфии (ti№const) и передаче данных (ti=const). Отдельные состояния источника могут выбираться им чаще, другие реже. Поэтому в общем случае он храниться дискретным ансамблем U т. е. полной совокупностью состояний с вероятностями их появления, составляющими в сумме 1.

7. Код и кодирование

Одну и ту же информацию, например, сведения об опасности мы можем выразить разными способами: просто крикнуть; оставить предупреждающий знак (рисунок); с помощью мимики и жестов; передать сигнал «SOS» с помощью азбуки Морзе или используя семафорную и флажковую сигнализацию. В каждом из этих способов мы должны знать правила, по которым можно отобразить информацию. Такое правило назовем кодом.

Код — это набор условных обозначений (или сигналов) для записи (или передачи) некоторых заранее определенных понятий.

Кодирование информации – это процесс формирования определенного представления информации. В более узком смысле под термином «кодирование» часто понимают переход от одной формы представления информации к другой, более удобной для хранения, передачи или обработки.

Обычно каждый образ при кодировании (иногда говорят — шифровке) представлении отдельным знаком.

Знак - это элемент конечного множества отличных друг от друга элементов.

Знак вместе с его смыслом называют символом.

Набор знаков, в котором определен их порядок, называется алфавитом. Существует множество алфавитов:

алфавит кириллических букв {А, Б, В, Г, Д, Е, ...} алфавит латинских букв {А, В, С, D, Е, F,...} алфавит десятичных цифр{0, 1, 2, 3, 4, 5, 6, 7, 8, 9} алфавит знаков зодиака {картинки знаков зодиака} и др.

Особенно большое значение имеют наборы, состоящие всего из двух знаков:

пара знаков {+, -} пара цифр {0, 1} пара ответов {да, нет}

Алфавит, состоящий из двух знаков, называется двоичным алфавитом. Двоичный знак (англ. binary digit) получил название «бит».

Шифрование - кодирование сообщения отправителя, но такое чтобы оно было не понятно несанкционированному пользователю.

Длиной кода называется такое количество знаков, которое используется при кодировании.

Количество символов в алфавите кодирования и длина кода - совершенно разные вещи. Например, в русском алфавите 33 буквы, а слова могут быть длиной в 1, 2, 3 и т. д. буквы.

8 Классификация кодов

Равномерное и не равномерное кодирование

Кодирование – это сопоставление сообщения одного источника с некоторым алфавитом сообщению другого источника с другим алфавитом. Если закодированное сообщение будет занимать меньше места на машинном носителе при возможности восстановления исходного сообщения, то в этом случае при кодировании достигается сжатие информации. Равномерное кодирование заключается в сопоставлению символам кодов одинаковой длины. В этом случае говорить об эффективности можно только в том случае, когда вероятности появления символов источника равны, то есть его энтропия максимальна.