Теория информации

РОССИЙСКАЯ ФЕДЕРАЦИЯ

МИНИСТЕРСТВО ОБРАЗОВАНИЯ И НАУКИ

Государственное образовательное учреждение

высшего профессионального образования

ТЮМЕНСКИЙ ГОСУДАРСТВЕННЫЙ УНИВЕРСИТЕТ

«УТВЕРЖДАЮ»

Проректор по учебной работе

_______________________ / /

________________ 2011г.

ТЕОРИЯ ИНФОРМАЦИИ

Учебно-методический комплекс. Рабочая программа

для студентов направления 230400.62 «Информационные системы и технологии» очной формы обучения профиля подготовки «Информационные системы и технологии в административном управлении»

«ПОДГОТОВЛЕНО К ИЗДАНИЮ»

Автор работы _____________________________//

«_29 »__марта___2011г.

Рассмотрено на заседании кафедры Информационные систем

12 апреля 2011г. протокол № 10.

Соответствует требованиям к содержанию, структуре и оформлению.

«РЕКОМЕНДОВАНО К ЭЛЕКТРОННОМУ ИЗДАНИЮ»:

Объем __16__стр.

Зав. кафедрой ______________________________//

«_12_»_апреля__ 2011 г.

Рассмотрено на заседании УМК

Института математики, естественных наук и информационных технологий

21 апреля 2011г. протокол № 1.

Соответствует ФГОС ВПО и учебному плану образовательной программы.

«СОГЛАСОВАНО»:

Председатель УМК ________________________//

«__21_»_апреля_2011 г.

«СОГЛАСОВАНО»

Зав. методическим отделом УМУ_____________//

«______»_____________2011 г.

РОССИЙСКАЯ ФЕДЕРАЦИЯ

МИНИСТЕРСТВО ОБРАЗОВАНИЯ И НАУКИ

Государственное образовательное учреждение

высшего профессионального образования

ТЮМЕНСКИЙ ГОСУДАРСТВЕННЫЙ УНИВЕРСИТЕТ

Институт математики, естественных наук и информационных технологий Кафедра информационных систем

Валерий Алексеевич Шапцев

ТЕОРИЯ ИНФОРМАЦИИ

Учебно-методический комплекс. Рабочая программа

для студентов направления 230400.62 «Информационные системы и технологии» очной формы обучения профиля подготовки «Информационные системы и технологии в административном управлении»

Тюменский государственный университет

2011

Шапцев информации: Учебно-методический комплекс. Рабочая программа для студентов направления 230400.62 «Информационные системы и технологии» очной формы обучения профиля подготовки «Информационные системы и технологии в административном управлении». Тюмень, 2011, 16 стр.

Рабочая программа составлена в соответствии с требованиями ФГОС ВПО с учетом рекомендаций и ПрООП ВПО по направлению и профилю подготовки.

Рабочая программа дисциплины опубликована на сайте ТюмГУ: Теория информации [электронный ресурс] / Режим доступа: http://www. umk3.utmn. ru, свободный.

Рекомендовано к изданию кафедрой информационных систем. Утверждено проректором по учебной работе Тюменского государственного университета.

ОТВЕТСТВЕННЫЙ РЕДАКТОР: заведующий кафедрой ИС , д. т.н., профессор

© Тюменский государственный университет, 2011.

© , 2011.

1.  Пояснительная записка.

1.1. Цели изучения дисциплины.

Дисциплина «Теория информации» имеет целью ознакомить студентов с основными понятиями: сигнал, канал связи, информация, кодирование, система передачи сообщений; а также - с основными направлениями развития этой науки, в том числе:

·  изучить теоретические основы и математические модели, необходимые для исследования информационных процессов и кодирования в каналах связи на соответствующем уровне формализации;

·  дать практические навыки вычисления количества информации, анализа способов кодирования и расчета характеристик сигналов и каналов в рамках изучаемых методов;

·  подготовить студентов к дальнейшему образованию в области информации, кодирования и каналов связи, в частности, к изучению курсов: методы защиты информации в компьютерных системах; системы, основанные на знаниях; информационные технологии и др.

Задачи дисциплины – дать основы теории связи и информационных процессов, а также методов расчета информационных характеристик сообщений и систем.

1.2.Место дисциплины в структуре плана подготовки бакалавра

Профиль подготовки - информационные системы и технологии. Естесственнонаучные дисциплины. 2 «Вариативная часть».

Дисциплина связана с курсами «Математика», «Информатика» и «Теория вероятности и математическая статистика».

Требования к входным знаниям и умениям: знание математического анализа, линейной и векторной алгебры, теории случайных событий и величин, основ информатики; умение отображать в математических выражениях практические задачи.

Требования к приобретенным знаниям: знание многоаспектной сути понятия информация, его философской основы; знание обобщенной структуры систем передачи информации в пространстве и времени; методов оптимального выбора (приема), в частности, элементарных сигналов; принципов формирования сигналов с расширенным спектром; энтропии дискретного и непрерывного источников сообщений; математические основы дискретизации и квантования непрерывных сообщений, принципы вокодерной передачи речи; опртимальное кодирование источника и помехоустойчивое кодирование для передачи закодированных сообщений; распространенные коды, корректирующие ошибки.

Следующие дисциплины и практики должны воспринять результаты освоения этой дисциплины: теория принятия решений, теория информационных процессов и систем, информационные технологии, технологии обработки информации, интеллектуальные информационные системы и технологии, инфокоммуникационные системы.

1.2.  Компетенции, формируемые в результате освоения дисциплины.

В результате освоения дисциплины «Теория информации» студент должен обладать следующими компетенциями.

ОК-6: владение широкой общей подготовкой (базовыми знаниями) для решения практических задач в области информационных систем и технологий.

ОК-10: готовность использовать основные законы естественно-научных дисциплин в профессиональной деятельности, применять методы математического анализа и моделирования, теоретического и экспериментального исследования.

ПК-5: способность проводить моделирование процессов и систем.

ПК-23: способность проводить сбор, анализ научно-технической информации, отечественного и зарубежного опыта по тематике исследования.

ПК-26: готовность использовать математические методы обработки, анализа и синтеза результатов профессиональных исследований.

В результате освоения дисциплины обучающийся должен усвоить модель процесса выявления информации и роль человека в ИСТ как субъекта, интерпретирующего данные. При этом студенты должны

иметь представление:

- о месте и роли информационных процессов в обществе;

- об истории и направлениях развития понятий информация, количества информации;

- о взаимосвязях между характеристиками источников сообщений, каналов связи; о принципах организации обработки сигналов и сообщений приемником информации;

- о проблемах информационной экологии;

знать:

- основные понятия теории информации и современных информационных технологий: информация и способы ее вычисления, многообразие ее форм, основные способы представления информации;

- основные классы кодов, их параметры и способы кодирования, основные каналы связи и процесс передачи информации по каналам, их основные формально-математические модели и способы их количественного описания;

- математические доказательства свойств энтропии, информации дискретного и непрерывного источников; основные теоремы теории информации и кодирования;

- основные принципы и способы кодирования и декодирования информации, характеристики кодов разного типа, понятие оптимального и помехоустойчивого кодирования, методы исследования кодов и их применений в ЭВМ и системах защиты информации;

уметь:

- вычислять количество энтропии и информации в сообщениях дискретного источника канала связи;

- закодировать и декодировать сообщения источника одним из изученных кодов, оценить его оптимальность и помехоустойчивость, а также декодировать закодированное сообщение с обнаружением или исправлением возможных ошибок;

- определить основные характеристики симметричного канала связи;

иметь навыки:

- расчета количества информации, вероятности двоичной ошибки на выходе канала связи и вероятности ошибочного декодирования;

- вычисления спектральных характеристик сигналов, коэффициентов разложения в ряд Котельникова;

- построения кодирующих и декодирующих алгоритмов для линейных кодов.

2.  Структура и трудоемкость дисциплины

Семестр 3. Форма промежуточной аттестации - зачет. Общая трудоемкость дисциплины составляет 105 часов: лекции - 34, практические занятия - 17, самостоятельная работа - 54 часа.

3.  Тематический план

Таблица 1. Тематический план

№	Тема	недели семестра	Виды учебной работы и самостоятельная работа, в час.	Итого часов по теме	Из них в интерактивной форме	Иого количество баллов
Лекции*	Семинарские (практические) занятия*	Самостоятельная работа*
1	2	3	4	5	6	7	8	9
	Модуль 1 Сигналы. Каналы связи. Оптимальный прием сигналов
1.	Теория информации как научное направление. Определение понятия «информация»	1	2			2
2.	Обобщенный информационный процесс.	2	2		6	8	1
3.	Математические модели сигналов.	3	2	4	10	16	2
4.	Структура системы передачи сообщений	4	2			2
5.	Задача об оптимальном приеме двоичных сигналов в белом шуме. Выбор сигналов	6	4	2	10	16
	Всего по модулю1		12	6	26	44	3	40
	Модуль 2 Источники сообщений. Информация. Пропускная способность каналов
6.	Энтропия и количество информации	8	2	4		6	1
7.	Свойства источников сообщений. Оптимальное кодирование источника	9	4	2	10	16
8.	Производительность источника и канала связи	10	2			2
	Всего по модулю 2		8	6	10	24	1	30
	Модуль 3 Кодирование. Синхронизация. Методы повышения качества передачи сообщений
9.	Корректирующие коды и их параметры.	11	2	2		4
10.	Определение требуемых параметров линейного кода.	12	2			2
11	Методы синхронизации работы приемного устройства	13	2		6	8	1
12.	Кодирование-декодирование линейных кодов. Код Хэмминга	14	2	3	6	11	2
13	Циклические коды	15	2			2
14	Коды БЧХ, Рида-Соломона, сверточные.	16	2		6	8	4
15	Другие методы повышения качеств передачи информации	17	2			2
	Всего по модулю 3		14	5	18	37		30
	Итого (часов, баллов):		34	17	54	105	7	100
В том числе в интерактивной форме						11

Таблица 2. Виды и формы оценочных средств в период текущего контроля

№ темы (см. табл.1)	Устный опрос	Письменные работы	Технические формы контроля	Итого кол-во баллов
колок-виум	контроль-ная работа	реферат	программы компьют. тестир-ния
Модуль 1
1.
2.
3
4.
5.	0-2	0-2	0-5		0-9
Всего	0-2	0-2	0-5		0-9
Модуль 2
6.
7.
8.	0-2	0-2	0-5		0-9
Всего	0-2	0-2	0-5		0-9
Модуль 3
9.
10.
11.
12.
13.	0-5				0-5
14.
15.			0-5	0-72	0-77
Всего	0-5		0-5	0-72	0-82
Итого	0-09	0-4	0-15	0-72	0-100

Таблица 3. Планирование самостоятельной работы студентов

№	Модули и темы (см. табл.1)	Виды СРС	Неделя семестра	Объем часов	Кол-во баллов
обязатель-ные	дополни-тельные
Модуль 1
1			Работа с источниками. Подготовка реферата
2
3				6
4				10
5		Реферат по теме модуля 1 (по согл. с преп.)	6-я	10	0-5
	Всего по модулю 1:		26	0-5
Модуль 2
6			Работа с источниками. Подготовка реферата
7				10
8		Реферат по теме модуля 2 (по согл. с преп.)	11-я		0-5
	Всего по модулю 2:		10	0-5
Модуль 3
9			Подготовка к контрольн. работе. Работа с источниками. Подготовка реферата.
10
11				6
12				6
13
14		Реферат по теме модуля 3 (по согл. с преп.)	16-я	6	0-5
15
	Всего по модулю 3:	18	0-5
	ИТОГО:	54	0-15

4.  Взаимосвязь с другими дисциплинами

Таблица 4. Разделы дисциплины и междисциплинарные связи с последующими дисциплинами

№ п/п

Наименование обеспечиваемых (последующих) дисциплин

Темы дисциплины необходимые для изучения обеспечиваемых (последующих) дисциплин

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

1.

Теория принятия решений

+

+

+

+

+

+

+

+

2.

Теория информационных процессов и систем

+

+

+

3.

Информационные технологии

+

+

4.

Технологии обработки информации

+

+

5.

Интеллектуальные информационные системы и технологии

+

+

6.

Инфокоммуникационные системы

+

+

+

+

+

+

+

+

+

+

+

+

+

+

+

5.  Содержание дисциплины.

Тема 1. Теория информации как научное направление. Определение понятия «информация». Вопросы и задачи теории информации и кодирования. Математические основы теории. Система передачи информации как система: ее математическая модель, состав, структура и функция. Роль теории информации и кодировании в науке и современном информационном обществе. Теория информации и информационные технологии.

Тема 2. Обобщенный информационный процесс. Знаки и сигналы. Модели сигналов и их классификация. Системы передачи информации (с. п.и.) и каналы связи (к. с.). Примеры с. п.и. и к. с. Дискретные и непрерывные к. с., их математические модели и классификация. Понятие о равновероятных и неравновероятных исходах. Дискретный вероятностный ансамбль как модель источника информации.

Тема 3. Математические модели сигналов. Временное и частотное представление сигналов. Простейшие сигналы. Разложение сигналов по ортонормированному базису.

Тема 4. Структура системы передачи сообщений (СПДС). Основные компоненты СПДС и их функциональное назначение.

Тема 5. Задача об оптимальном приеме двоичных сигналов. Математические модели каналов. Белый гауссовский шум. Метод максимального правдоподобия. Корреляционный прием. База сигнала. Выбор наилучших сигналов.

Тема 6. Энтропия и количество информации. Случайные дискретные ансамбли с равновероятными и неравновероятными компонентами. Понятие и вычисление энтропии. Энтропия двух и более статистически связанных ансамблей. Количество информации по Хартли и Шеннону. Энтропия и информация: модель Шеннона и аксиомы Шеннона. Энтропия объединенного ансамбля и ее свойства. Условная и частная энтропия и их свойства. Дифференциальная энтропия. Избыточность сообщений источника. Количество информации, передаваемой от источника к получателю. Основное свойство информации при ее преобразовании. Реальные и идеальные каналы связи и их характеристики: скорость создания информации, скорость информации и пропускная способность. Симметричные к. с. и другие виды к. с.

Тема 7. Свойства источников сообщений. Источник как вероятностный ансамбль. Эргодические источники. Источники с памятью и без памяти. Марковские и эргодические источники. Понятие марковости источника. Энтропия марковского источника. Теорема Шеннона. Оптимальное кодирование источников. Префиксные коды. Неравенства Крафта и Макмиллана. Типичные последовательности на выходе эргодического источника. Оптимальное кодирование источника.

Тема 8. Производительность источника и канала связи. Энтропия и количество информации на символ. Электрическая скорость источника. Пропускная способность канала связи. Основная теорема кодирования Шеннона.

Тема 9. Корректирующие коды и их параметры. Классификация кодов. Простые коды, примеры и способы их построения. Избыточность кодов. Равномерные коды. Понятие разрядности кода и ее расчет. Количество и объем информации при передаче информации в равномерном коде. Определение избыточности равномерных кодов. Неравномерные оптимальные коды. Основные характеристики неравномерного кода.

Тема 10. Определение требуемых параметров линейного кода. Параметры кодов: объем, кодовое расстояние, исправляющая и обнаруживающая способности, границы. Связи между кодовым расстоянием и корректирущими свойствами кодов. Граница Симмонса. Система двух неравенств для определения требуемых параметров линейного корректирующего кода в симметричном двоичном канале без памяти.

Тема 11. Методы синхронизации работы приемного устройства. Тактовая и цикловая синхронизация приемного устройства. Принципы синхронизации по тактам. Варианты обобщенных схем синхронизации.

Тема 12. Кодирование-декодирование линейных кодов. Код Хэмминга.

Тема 13. Циклические коды. Алгебра полиномов. Поле Галуа. Алгоритмы кодирования и декодирования циклических кодов. Их схеманя реализация.

Тема 14. Коды БЧХ, Рида-Соломона, сверточные коды. Общие сведения о кодах БЧХ и Рида-Соломона. Принципы сверточного кодирования. Параметры сверточных кодов. Примеры схемной реализации. Принцип декодирования сверточных кодов по Витерби.

Тема 15. Другие методы повышения качеств передачи информации. Временное, частотное и пространственное разнесение передачи. СПС с обратной связью. Применение кодирования для сжатия информации и криптографической защиты информации. Обзорная лекция.

6.  Планы практических занятий.

На практических занятиях студенты решают задачи с применением математики и компьютера по следующим разделам курса.

1. Простейшие сигналы. Их свойства и спектры.

2. Разложение сигналов в ряд Котельникова.

3. Оценка энтропийных характеристик дискретных и непрерывных случайных величин. Условная и частная энтропия и их свойства. Энтропия объединенного ансамбля и ее свойства.

4. Оценка количества информации.

5. Оценка информационных характеристик систем.

6. Помехоустойчивое кодирование. Параметры кодов: объем, расстояние, исправляющая способность. Оптимальный код источника. Линейный код. Циклический код.

7. Характеристики каналов связи: скорость создания информации, скорость передачи информации и пропускная способность. Симметричные каналы связи.

7.  Учебно-методическое обеспечение самостоятельной работы студентов. Оценочные средства текущего контроля успеваемости.

7.1.  Реферат - это письменный доклад или выступление по определённой теме, в котором собрана информация из одного или нескольких источников. Он отражает состояние вопроса и обобщение изложенных тезисов, мнений и утверждений. Формат: DOC, шрифт 12’, 2 межстрочного интервала, Times New Roman; имя файла содержит фамилию студента).

Темы рефератов формируются преподавателем мере освоения дисциплины и в зависимости от интересов студентов.

Контроль исполнения самостоятельных работ осуществляется посредством заслушивания и обсуждения презентаций студентов.

7.2. Вопросы к зачету.

1.	Энтропия вероятностной схемы дискретного ансамбля.
2.	Условная энтропия в случае двух дискретных ансамблей.
3.	Взаимная информация и ее свойства.
4.	Энтропия непрерывного ансамбля. Дифференциальная энтропия.
5.	Условная энтропия в случае двух непрерывных ансамблей.
6.	Взаимная информация двух непрерывных ансамблей.
7.	Источники информации. Энтропия дискретных источников.
8.	Аксиома Хинчина (о типичных последовательностях).
9.	Дискретный источник без памяти. Его производительность.
10.	Две теоремы Шеннона об источниках. Марковские и эргодические источники.
11.	Обобщенная схема системы передачи информации.
12.	Понятие кода. Оптимальное кодирование источника.
13.	Префиксные коды. Неравенство Крафта.
14.	Помехоустойчивое кодирование. Линейные блочные коды. Их параметры.
15.	Корректирующие свойства кодов. Кодирование и декодирование линейного кода.
16.	Коды Галлея и проверки на четность.
17.	Методика определения требуемых параметров линейного кода в канале с шумом.
18.	Циклические коды. Полиномиальная процедура кодирования.
19.	Циклические коды. Полиномиальная процедура декодирования.
20.	БЧХ-коды.
21.	Код Хемминга.
22.	Сверточные коды.
23.	Математические модели канала связи.
24.	Пропускная способность канала связи.
25.	Прямая и обратная теоремы кодирования.
26.	Задача об оптимальном приеме двоичных сигналов.
27.	Корреляционный прием сигналов.
28.	Виды модуляции. Их отличия.
29.	Простейшие сигналы. Их роль в теории информации и связи.
30.	База сигнала. Шумоподобные сигналы. Пример.
31.	Разделение каналов передачи дискретных сообщений по форме сигнала.
32.	Виды разделения каналов передачи по общей среде распространения сигналов.
33.	Шифрование сообщений как специфическая задача кодирования.
34.	Обобщенный ряд Фурье. Понятие спектра сигнала.
35.	Ряд Котельникова. Теорема об отсчетах непрерывного сообщения.
36.	Векторное представление сигналов.
37.	Постановка задачи об оптимальном приеме двоичных сигналов.
38.	Средняя вероятность ошибки в двоичном канале.
39.	Оптимальные алгоритмы приема двоичных сигналов.
40.	Назначение и принцип работы вокодера.
41.	Принцип синхронизации приемного устройства.

8.  Образовательные технологии.

Основой используемой в освоении курса образовательной технологии является диалог с аудиторией, предоставление студентам возможности высказать свое мнение и интерпретацию понятия, ситуации, утверждения.

Озвучивание материала курса сопровождается мультимедиа презентацией при/без связи с Интернетом.

Практические занятия проводятся в компьютерном классе, соединенном с Интернетом. К решению задач привлекается табличный процессор Excel.

В процессе практики применяется интерактивный режим взаимодействия с задачниками, учебными пособиями, тестирующими комплексами.

9.  Учебно-методическое и информационное обеспечение дисциплины.

9.1.  Основная литература.

1. Дмитриев теория информации. М., Высшая школа. 1989. 320с.

2. Цифровая связь. 2-е изд. М.: Издат. дом Вильямс, 2003. 1104с.

3. Кавчук примеров и задач по теории информации. – Таганрог: Изд. во ТГРУ, 2002. 157с.

4. Игнатов информации и передачи сигналов. М., Радио и связь. 1991. 325с.

5. , Карташёв, В. Г., Николаев по курсу «Радиотехнические цепи и сигналы»: Уч. пос. для вузов. М.: ВШ, 1986. 159с.

9.2.  Дополнительная литература.

1.  Стратонович информации. М.: Советское радио, 1975. 424с.

2.  Алгебраическая теория кодирования. М.: Мир, 1971. 477с.

3.  Теория и практика кодов, контролирующих ошибки. М.: Мир, 1986. 576с.

4. Цымбал по теории информации и кодированию. Киев: Выща школа. 1976.

5. Советов технология. М.: Высшая школа. 1994. 368с.

6. и др. Примеры и задачи по статистической радиотехнике. М.: ВШ, 1973.

7. , Полтырев теории информации. М.: Наука. 1982. 416с.

8.  Теория информации и надежная связь. М.: Советское радио. 1974.

9.  , , Финк передачи сигналов. М.: Радио и связь. 1986.

11.  Кловский передачи сигналов. М., Связь 1974.

12.  Кловский передачи сигналов в задачах. М., Связь 1974.

13.  , Кедрус теории информации и кодирования. Киев: Выща школа. 1986.

9.3.  Ресурсы Интернета.

Ключевые слова «теория информации» позволяют выйти на публикации, связанные с современными подходами к этой области знаний, к попыткам сформировать теоретические основы семантического и прагматического аспектов понятия информации.

10.  Программно-техническое обеспечение дисциплины.

Для проведения лекций требуется мультимедиа-проектор.

Для семинаров и практических занятий необходим компьютерный класс и связь его ЛВС с Интернетом.