Министерство образования и науки  Российской Федерации

Государственное образовательное учреждение

высшего профессионального образования

«Нижегородский государственный лингвистический университет

им. »

У Ч Е Б Н А Я  П Р О Г Р А М М А

Дисциплина: ЕН. В. 01 - АКТУАЛЬНЫЕ ЭЛЕМЕНТЫ

ТЕОРИИ информации

Специальность: 090103 – Организация и технология защиты информации

Квалификация: Специалист по защите информации

Нижний Новгород

2010 г.

Факультет международных отношений, экономики и управления

Кафедра математики и информатики

учебная программа

по дисциплине: "Актуальные элементы теории информации "

Специальность:- 090103 Организация и технология защиты информации

Квалификация: Специалист по защите информации

Общий объем дисциплины по учебному плану – 200 часов.

Из них аудиторных часов –  72 часа.

В том числе:

       лекций – 32,

семинарских занятий –  40  часов.

Самостоятельная работа –  128 часов.

Контроль: зачёты – 3,4 семестры.

1.  ЦЕЛЬ И ЗАДАЧИ ДИСЦИПЛИНЫ

Целью преподавания дисциплины является изучение  теории  информации (ТИ),  ее методов формулирования и решения рационалистических проблем, относящихся к будущей профессиональной деятельности студентов, формирование у них навыков  теоретико-информационного подхода  и развитие общей математической культуры.

       В результате изучения курса студенты должны знать основные положения теории информации, методы анализа информационных процессов, а также основные теоретико-информационные показатели эффективности сложных информационных систем.

НЕ нашли? Не то? Что вы ищете?

       Данная учебная дисциплина завершает в основном математическое образование студентов по направлению  математических методов и моделей обработки информации и предполагает предварительное изучение студентами курса высшей математики, теории вероятностей и теории информации в объеме  требований ГОС по данной специальности.

2. Содержание

Энтропия как численная мера неопределенности случайных объектов наблюдений.

Дискретная случайная величина и ее энтропия по Шеннону. Свойства энтропии.

Условная энтропия и ее свойства.

Пример дискретной случайной величины: равновероятный закон распределения.

Дифференциальная энтропия непрерывной случайной величины.

Непрерывная случайная величина и ее энтропия. Определение дифференциальной энтропии. Примеры вычислений.

Свойства дифференциальной энтропии. Понятие относительной энтропии.

Дифференциальная энтропия системы случайных величин.

Примеры: равномерный и гауссовский законы распределений.

Энтропия случайных процессов.

Случайный процесс и его основные статистические характеристики.

Энтропия случайного процесса и ее свойства. Определение удельной энтропии.

Случайный гауссовский процесс и его энтропия.

Вычисление энтропии по спектральной плотности мощности.

  4)  Принцип максимума энтропии и экстремальные распределения.

Постановка вариационной задачи. Информационный критерий. Метод множителей Лагранжа. Решение задачи для случая ограниченной области определения случайной величины Х. Равномерный закон распределения.

Решение вариационных задач с ограничениями на значения математического ожидания и дисперсии случайной величины. Особая роль гауссовского распределения.

Шенноновское количество информации.

Определение количества информации для случайных дискретных и непрерывных объектов наблюдений.

Основные свойства количества информации.

Единицы измерения энтропии и количества информации.

3. ТЕМАТИЧЕСКИЙ ПЛАН


№№

п/п

Тема (раздел)

Всего

час.

В том числе, час.

Лекции

Семинары

Самост работа

1

Энтропия как численная мера неопределенности случайных явлений.

50

6

6

20

2

Дифференциальная энтропия непрерывной случайной величины.

50

6

6

22

3

Энтропия случайных процессов.

60

6

8

32

4

Принцип максимума энтропии и экстремальные распределения.

60

6

8

32

5

Шенноновское количество информации.

50

8

12

22

Всего

200

32

40

128


4. Виды учебно-научной работы

Программой предусмотрена учебно-исследовательская работа (УИРС)  по направлению типовых задач,  рассматриваемых по плану  практических занятий.

5. Контроль изучения дисциплины

Примерные вопросы к зачётам

Дискретная случайная величина и ее энтропия по Шеннону. Свойства энтропии. Условная энтропия и ее свойства. Пример дискретной случайной величины: равновероятный закон распределения. Непрерывная случайная величина и ее энтропия. Определение дифференциальной энтропии. Примеры вычислений. Свойства дифференциальной энтропии. Понятие относительной энтропии. Дифференциальная энтропия системы случайных величин. Примеры: равномерный и гауссовский законы распределений. Случайный процесс и его основные статистические характеристики. Энтропия случайного процесса и ее свойства. Определение удельной энтропии. Случайный гауссовский процесс и его энтропия. Вычисление энтропии по спектральной плотности мощности. Постановка вариационной задачи. Информационный критерий. Метод множителей Лагранжа. Решение задачи для случая ограниченной области определения случайной величины Х. Равномерный закон распределения. Решение вариационных задач с ограничениями на значения математического ожидания и дисперсии случайной величины. Особая роль гауссовского распределения. Определение количества информации для случайных дискретных и непрерывных объектов наблюдений. Основные свойства количества информации. Единицы измерения энтропии и количества информации.
6. Учебно-методическое обеспечение дисциплины

Основная литература

1. Савченко вероятностей и математическая статистика: Конспект лекций. – Н. Новгород: НГЛУ, 2007.

2. Вентцель вероятностей. М.: ВШ, 2006

3. Кудряшов информации: Учебник для вузов. – Изд. Дом Питер. 2009.

Дополнительная литература

4.Савченко минимакса энтропии в задаче многомерного спектрального анализа.// Радиотехника и электроника(издние РАН),1990, № 8.

5. Савченко минимакса энтропии в задачах статистических решений// Радиотехника и электроника (издние РАН),1990, № 9.

6. Савченко метод восстановления многомерного закона распределения по принципу ММЭ // Известия вузов. Радиофизика,1991, № 3.

Интернет-ресурсы

http://informatik. /load/teorija_informacii/uchebnik_po_teorii_informacii/11-1-0-40 http://informatik. /_ld/0/40_lidovski_2004_i. pdf http://www. sat-co. ru/files/30-apr-2010/uchebnik-po-teorii-informacii. php http://win-web. ru/uchebniki/view/matematika-3.html http://de. ifmo. ru/bk_netra/start. php? bn=11 http://www. fmo. lunn. ru/matinf/index. php? num=24

С О Д Е Р Ж А Н И Е


Цели и задачи дисциплины ……………………………………………….…3

2. Содержание ………………..………………………………..…………….….3

3.  Тематический план………………….. …………………….…………..…....4

4.  Виды учебно-научной работы………………………………………………4

5. Контроль изучения дисциплины ……………………………………………5

6. Учебно-методическое обеспечение дисциплины ………………………….5

Программу составил д. т.н.,  проф.

Программа обсуждена и одобрена на заседании кафедры математики и информатики от 01.01.2001, протокол № 1.

Зав. кафедрой математики и информатики                                

Программа утверждена         ________________________

                                       (дата)

Первый проректор