Теория информации

Воронежский институт МВД России

Кафедра высшей математики

Рассмотрена и одобрена на заседании Ученого совета института протокол №________ от «___»_________20___ г.

Утверждаю Начальник института генерал - майор милиции «____»___________20__ г.

РАБОЧАЯ ПРОГРАММА

ТЕОРИЯ ИНФОРМАЦИИ

по специальности 230102.65 Автоматизированные системы обработки информации и управления

специализация — эксплуатация и администрирование программно-технических комплексов органов внутренних дел

Воронеж

2011 г.

Рабочая учебная программа дисциплины «Теория информации» подготовлена в соответствии с Государственным образовательным стандартом высшего профессионального образования по специальности 230102.65 Автоматизированные системы обработки информации и управления.

Рабочая учебная программа подготовлена , к. ф.-м. н., доцентом кафедры высшей математики.

Рецензенты: 1. профессор кафедры функционального анализа и операторных уравнений математического факультета Воронежского государственного университета, д. ф.-м. н., профессор.

2. начальник кафедры физики Воронежского института МВД России, д. х.н., профессор.

Настоящая рабочая учебная программа обсуждена и одобрена:

на заседании кафедры высшей математики

« 20 » января 2011 года. Протокол № 5.

на заседании методического совета института

« » ________________ 2011 года. Протокол № _____.

I. Организационно-методический раздел

Дисциплина "Теория информации" обеспечивает приобретение знаний и умений в соответствии с государственным образовательным стандартом, содействует формированию мировоззрения и системного мышления

Целью преподавания дисциплины "Теория информации" является формирование навыков ценностно-информационного подхода к анализу и синтезу систем связи..

Задачи дисциплины:

·  подготовить инженера с глубокими знаниями в области основ теории информации;

·  научить принципам информационного подхода к анализу и синтезу систем связи и передачи информации.

Междисциплинарные связи. Изучение дисциплины базируется на знаниях средней школы, курсов «Математиа» «Теория вероятностей и математическая статистика» «Информатик», «Физика». Данный курс обеспечивает изучение дисциплин «Моделирование систем», «Теория электрической связи», «Математические основы криптографии», «Передача дискретных сообщений», «Теория цифровой обработки информации» и является базовым для изучения специальных дисциплин.

Требования к знаниям и умениям по дисциплине.

В результате изучения дисциплины курсант должен иметь представление:

·  об основах теории информации в трактовке ее создателей;

·  о методах доказательства основных теорем кодирования;

·  о значении теории вероятности и математической статистики, их месте в системе фундаментальных наук и роли в решении практических задач;

·  об истории развития и современных направлениях в теории вероятностей и математической статистики;

знать:

·  теоретические основы теории информации в инженерной трактовке;

·  основные методы реализации помехоустойчивых кодеков;

уметь:

·  оценивать скорость передачи информации и пропускную способность каналов передачи информации при отсутствии и наличии помех, а также применять знания о кодах, корректирующих ошибки;

·  оценивать технические возможности и вырабатывать рекомендации по построению систем и сетей передачи информации общего и специального назначения;

·  применять общие принципы теории информации при анализе радиотехнических систем;

·  находить пути реализации теории при создании тактико-технических требований разрабатываемых систем;

·  применять стандартные методы и модели к решению типовых теоретико-вероятностных и статистических задач;

иметь навыки:

·  решения простейших задач теории информации.

·  пользования библиотеками прикладных программ для ЭВМ для решения прикладных вероятностных и статистических задач.

В соответствии с рабочим учебным планом на изучение дисциплины «Теория информации» отводится 90 учебных часов, в т. ч. 46 часов – на аудиторные занятия и 44 часа – на самостоятельную работу студентов.

В рамках изучения дисциплины курсанты должны выполнить домашнюю контрольную работу (типовой расчет).

Обучение по указанной дисциплине завершается сдачей курсантами зачета.

II. Основной раздел

1 Перечень тематических модулей

1. Тематический модуль №1. «Вероятностные основы принципов передачи информации».

2. Тематический модуль №2. «Теория кодирования классической и квантовой информации».

2. Соответствующие темы с перечнем основных вопросов, подлежащих изучению по данной теме

Тематический модуль №1.

«Вероятностные основы принципов передачи информации»

Тема 1. Энтропия и информация

Энтропия случайных событий и величин. Условная информация. Энтропия на сообщение стационарного источника. Количество информации между дискретными источниками. Свойства взаимной информации между дискретными ансамблями.

Кодирование информации методом Шеннона-Фено. Избыточность кодирования. Надежность электрических схем. Скорость создания информации источником без памяти при равномерном кодировании. Прямая и обратная теоремы Шенона. Задачи информационного поиска.

Тема 2. Каналы связи

Классификация каналов связи. Модели каналов. Бинарные и небинарные каналы. Симметричные и несимметричные каналы информации. Задача кодирования в дискретном канале. Прямая и обратная теоремы кодирования. Пропускная способность каналов.

Непрерывные каналы и источники. Относительная энтропия. Задача кодирования с заданным критерием качества. Эпсилон-энтропия и ее свойства.

Понятие о случайном процессе. Марковские случайные процессы. Дискретные цепи Маркова. Матрица перехода. Теорема о предельных вероятностях. Элементы теории массового обслуживания. Теорема дискретизации. Скорость передачи информации и пропускная способность канала связи при отсутствии и наличии помех

Тематический модуль №2.

«Теория кодирования классической и квантовой информации»

Тема 3. Теория помехоустойчивого кодирования

Прямая и обратная теоремы Шеннона; информационные пределы избыточности и методика построения кодов; проблемы передачи непрерывной информации с оценкой ошибок дискретизации по времени и по амплитуде; возможности информационного подхода к оценке качества функционирования систем связи.

Модулярная арифметика. Вычисления в полях Галуа. Приводимые и неприводимые полиномы. Коды Хэмминга, БЧХ, Рида-Соломона.

Тема 4. Квантовая информация

Квантовые биты. Основные операторы на пространстве гильбертовых состояний. Зацепленные квантовые состояния. Матрица плотности. Энтропия Фон-Неймана. Редуцированная плотность. Алгоритмы квантовой информации: квантовое плотное кодирование, телепортация, клонирование. Метод квантового поиска в распределенных базах данных. Квантовые корректирующие коды. Квантовое Фурье-преобразование и квантовые алгоритмы взлома классических криптопротоколов.

3. Тематика лабораторных занятий

Тема 1. Энтропия и информация

ЛР 1. Энтропия случайных событий и величин. Условная информация. Свойства взаимной информации между дискретными ансамблями. Кодирование информации методом Шеннона-Фено. Избыточность кодирования.

Тема 2. Каналы связи

ЛР 2. Классификация каналов связи. Модели каналов. Бинарные и небинарные каналы. Симметричные и несимметричные каналы информации. Скорость передачи информации и пропускная способность канала связи при отсутствии и наличии помех.

ЛР 3. Элементы теории массового обслуживания. Описание потоков заявок. Системы с отказом и с ожиданием.

Тема 3. Теория помехоустойчивого кодирования

ЛР 4. Корректирующие коды. Коды Хэмминга и БЧХ.

ЛР 5. Модулярная арифметика. Вычисления в полях Галуа. Приводимые и неприводимые полиномы. Небинарные коды Рида-Соломона.

Тема 4. Квантовая информация

ЛР 6. Квантовые биты. Зацепленные квантовые состояния. Матрица плотности. Редуцированная плотность. Алгоритмы квантовой информации: квантовое плотное кодирование, телепортация, клонирование. Квантовые корректирующие коды.

4. Перечень вопросов для подготовки к промежуточной аттестации (зачету, экзамену) по всему курсу.

1.  Понятие количества информации. Взаимная информация, собственная информация.

2.  Условная взаимная информация, аддитивность условной взаимной информации. Условная собственная информация. Собственная информация совместного события. Среднее значение взаимной информации.

3.  Понятие энтропии информации. Среднее значение условной собственной информации. Максимальное значение условной собственной информации. Интерпретации средней взаимной вероятности.

4.  Понятие кодирования, виды кодирования. Преобразование из одной системы счисления в другую. Кодирование отдельных элементарных сообщений.

5.  Основная теорема о кодировании, признаки оптимального кода.

6.  Операции, выполняемые каналом без памяти.

7.  Пропускная способность двоичного симметричного канала без памяти.

8.  Пропускная способность недвоичного симметричного канала без памяти.

9.  Пропускная способность двоичного несимметричного канала без памяти.

10.  Помехоустойчивое кодирование. Коды Хэмминга.

11.  Коды БЧХ.

12.  Коды Рида-Соломона.

13.  Количество информации для непрерывных сообщений, взаимная информация.

14.  Среднее значение условной информации, полная средняя взаимная информация для непрерывных сообщений.

15.  Энтропия информации для непрерывных сообщений.

16.  Свойства канала при наличии аддитивного нормального шума.

17.  Метод оптимального кодирования Фено – Шеннона.

18.  Пропускная способность канала с ограниченной полосой частот.

19.  Дискретизация непрерывного сигнала. Теорема Котельникова.

20.  Прямая и обратная теоремы Шеннона. Модель канала с квантованием сигналов. Квантование с возрастающей точностью. Сравнение схем квантования.

21.  Квантовая информация. Квантовое плотное кодирование.

22.  Квантовая телепортация. Клонирование квантовых состояний.

23.  Квантовые корректирующие коды.

ТЕМАТИЧЕСКИЙ План ДИСЦИПЛИНЫ

«Теория информации»

				Из них
№ п/п	Наименование разделов и тем	Всего часов	Ауд. зан.	ЛК.	П. З	Л. Р.	Самост раб.
1	2	3	4	5	6	7	8
Тематический модуль 1. Вероятностные основы принципов передачи информации
	Раздел 1. Энтропия и информация
1	Энтропия и информация дискрет-ных источников сообщений	2	2	2
2	Энтропия непрерывных источ-ников сообщений	2	2	2
3	Задачи информационного поиска	10	6	2		4	4
	Раздел 2. Каналы связи
4	Пропускная способность каналов связи.	10	6	2		4	4
5	Несимметричные каналы связи	2	2	2
6	Теория массового обслуживания	10	6	2		4	4
Тематический модуль 2. Теория кодирования классической и квантовой информации
	Раздел 3. Теория помехоустой-чивого кодирования
7	Коды Хэмминга, БЧХ	10	6	2		4	4
8	Вычисления в полях Галуа	2	2	2
9	Коды Рида-Соломона	20	6	2		4	14
	Раздел 4. Квантовая информация
10	Квантовые информационные про-токолы	2	2	2
11	Квантовые корректирующие коды	20	6	2		4	14
	Зачет
	Итого по курсу.	90	46	22		24	24

III. Учебно-методическое обеспечение дисциплины

3.1. Рекомендуемая литература

Основная:

1.  Кудряшов информации. СПб.:Питер, 2009, - 322 с.

2.  Думачев информации. Методические указания для выполнения контрольной работыдля слушателей факультета заочного обучения. Воронеж: ВИ МВД России, 2010. – 16 с.

3.  , , Навоев информации в технике

и экономике. Под ред. : Учеб. пособие. Воронежский институт МВД, Воронеж. 2007.

Дополнительная:

1.  Ash R. Information theory. Wiley, 1965.-348 p.

2.  Berlekamp E. Algebraic coding survey. 19p.

3.  Chaitin G. Information, randomness and incompleteness. Papers on algorithmic information theory.2ed., Tallin, 19p.

4.  Chaitin G. Lecture notes on algorithmic information theory. Tallinn, 2003,-64 p.

5.  Cover T. M., Gopinath B. (eds.) Open problems in communication and computation. Springer, 19p.

6.  Cover T. M., Thomas J. A. Elements of information theory. Wiley, 19p.

7.  Klir G. J. Uncertainty and Information: Foundations of Generalized Information Theory. Wiley, 20p.

8.  Krippendorff K. Information theory: structural models for qualitative data. Sage, 19p.

9.  Kullback S. Information theory and statistics. Dover Pub., 19p.

10.Morelos-Zaragoza R. H. The art of error-correcting coding. Wiley, 20p.

11.Purser M. Introduction to error-correcting codes. 1995, -133 p.

12.Shannon. Mathematical theory of communication. 19p.

13.Alber G., et al. Quantum Information. STMP173, Springer, 20p.

14.Benenti G., Casati G., Strini G. Principles of Quantum Computation and Information Vol. 1: Basic Concepts. WS, 20p.

15.Hayashi M. Quantum information. An introduction. Springer, 20p.

16.Leuchs G., Beth T. (eds.) Quantum information processing. Wiley-VCH, 20p.

Начальник кафедры высшей математики,

полковник милиции