Министерство образования и науки Российской Федерации
Федеральное агентство по образованию
Рыбинская государственная авиационная технологическая академия им.
Факультет радиоэлектроники и информатики
Кафедра ²Вычислительные системы²
²УТВЕРЖДАЮ²
Декан факультета РЭИ
__________
РАБОЧАЯ ПРОГРАММА
По дисциплине "Теория информации и кодирования"
для направления 230100 – Информатика и вычислительная техника
для специальности 230101 – Вычислительные машины, комплексы,
системы и сети
Распределение часов
Форма обучения | Очная | Очно-заочная | Заочная | ||
| на базе ПСО | на базе СПО |
| на базе ПСО | на базе СПО |
Лекции | 34 | 34 | – | – | 6 |
Практические занятия | – | – | – | – | – |
Лабораторные занятия | – | – | – | – | – |
Индивидуальные занятия | 2 | 2 | – | – | 3 |
Самостоятельная работа в т.ч. курсовая работа | 51 | 51 | – | – | 79 |
Всего часов | 85 | 85 | – | – | 85 |
Форма контроля | зачет | зачет | – | – | зачет |
Программу составил к.т.н. профессор _____________________
Рабочая программа рассмотрена на заседании кафедры ²Вычислительные системы² 23 ноября 2005 г.
Заведующий кафедрой к.т.н. профессор ____________________
Согласовано Декан ФЗО _________________________________
Рыбинск 2005
Настоящая программа составлена в соответствии с Государственным стандартом высшего профессионального образования и Учебным планом подготовки специалиста по направлению 220100 (230101).
ЦЕЛЬ И ЗАДАЧИ ИЗУЧЕНИЯ ДИСЦИПЛИНЫ
Целью преподавания дисциплины является освоение способов количественной оценки информации и методов организации кодов для обнаружения и устранения ошибок в системах передачи информации.
Задачи изучения дисциплины – количественная оценка информации через понятие энтропия, умение применять методы расчета скорости передачи информации для конкретных каналов связи, студент должен помнить, что передача по каналу связи происходит с ошибками, для обнаружения и исправления которых существуют специальные коды.
Рекомендации по изучению дисциплины – изучение дисциплины базируется на знаниях и практических навыках, полученных студентами при изучении дисциплин: “Информатика”, “Дискретная математика”, “Теория вероятностей, математическая статистика и случайные процессы”.
1. СОДЕРЖАНИЕ ДИСЦИПЛИНЫ
Введение (1час)
Понятие информации. Понятие количества информации.
1.1. Системы передачи информации (4 часа)
Структура систем передачи информации. Соотношение между сообщением и сигналом. Основные задачи передачи информации по каналам связи.
1.2. Количественная оценка информационного содержания сигнала (8 часов)
1.2.1. Энтропия дискретного сигнала. Энтропия независимых сигналов и совокупности независимых сигналов (2 часа)
1.2.2. Частная и общая условная энтропия при рассмотрении канала связи со стороны источников сообщений (2 часа)
1.2.3. Вычисление условной энтропии по канальной матрице при рассмотрении канала связи со стороны приемника (2 часа)
1.2.4. Энтропия объединения и ее назначение (2 часа)
1.3. Расчет основных характеристик каналов связи (4 часа)
Вычисление информационных потерь при передаче сообщений по каналам связи с помехами.
Вычисление скорости передачи информации.
Пропускная способность канала связи.
1.4. Кодирование информации (14 часов)
1.4.1. Общие понятия и определения. Цели кодирования. Избыточность сообщений. Оптимальные коды. (3 часа)
1.4.2. Обнаружение и исправление ошибок в сообщениях. Понятие об идее коррекции ошибок. (2 часа)
1.4.3. Использование линейных групповых кодов в обнаружении ошибок в сообщениях (2 часа)
1.4.4. Систематические коды на примере кода Хэмминга (3 часа)
1.4.5. Понятие о циклических кодах. Циклические коды, направляющие одиночную ошибку. (2 часа)
1.5. Современные способы сжатия информации (3 часа)
Способы сжатия текстовой информации. Сжатие графической информации.
2. СПИСОК ЛИТЕРАТУРЫ И ПЕРЧЕНЬ ПРОГРАММНОГО ОБЕСПЕЧЕНИЯ
Основной
2.1. , Мотов основы информационных процессов: Учебное пособие – М.: Высшая школа, 1987.
2.2. Теория и практика кодов, контролирующих ошибки. – М.: Мир, 1986 – 376 с.
2.3. Задачник по теории информации и кодированию: Цымбал объединение “Вища школа”, 1976 – 270 с.
3. МЕТОДИЧЕСКИЕ УКАЗАНИЯ СТУДЕНТАМ ПО ИЗУЧЕНИЮ ДИСЦИПЛИНЫ
В связи с тем, что данная дисциплина не подкреплена лабораторными и практическими занятиями, студент должен быть готов к изложению краткого наперед заданного сообщения по конкретному вопросу в пределах лекционного курса.
4. СПИСОК ЭКЗАМЕНАЦИОННЫХ ВОПРОСОВ
4.1. Этапы преобразования информации.
4.2. Структура системы передачи информации.
4.3. Основные задачи передачи информации по каналам связи. Понятие первичного и вторичного алфавита.
4.4. Линия связи и канал связи. Понятие многоканальности.
4.5. Энтропия дискретного сигнала. Мера Хартли.
4.6. Энтропия при равновероятных исходах сигнала. Шеннона. Свойства энтропии.
4.7. Энтропия последовательности независимых сигналов.
4.8. Энтропия в условиях зависимости сигналов.
4.9. Описание внешних помех в канале связи с помощью канальной матрицы.
4.10. Исследование канала связи со стороны передатчика.
4.11. Исследование канала связи со стороны приемника.
4.12. Энтропия объединения и ее назначение.
4.13. Информационные потери в канале связи. Методика их описания.
4.14. Вычисление информационных потерь.
4.15. Скорость передачи информации для различных соотношений сигналов.
4.16. Пропускная способность для симметричных бинарных каналов связи.
4.17. Пропускная способность для несимметричного канала связи.
4.18.Избыточность сообщений. Разновидности избыточности.
4.19. Роль избыточности в повышении помехоустойчивости.
4.20. Понятие оптимального кода. Блочное кодирование. Методика Шеннона-Фано.
4.21. Понятие об идее коррекции ошибок. Кодовое расстояние.
4.22. Условие определения и исправления одиночной ошибки.
4.23. Обнаружение трехкратной ошибки.
4.24. Линейные групповые коды. Порождающая матрица.
4.25. Алгоритм образования проверочных символов для группового кода.
4.26. Систематические коды.
4.27. Код Хэмминга.
4.28. Понятие о циклических кодах.
4.29. Методология обнаружения ошибок при циклических кодах.
4.30. Циклические коды, исправляющие одиночную ошибку.
4.31. Циклические коды, обнаруживающие трехкратные ошибки.
4.32. Современные методы сжатия текстовой информации.
4.33. Методы сжатия графической информации.
5. КОНТРОЛЬНЫЕ ВОПРОСЫ (ЗАДАЧИ ИЛИ ТЕСТЫ САМОПРОВЕРКИ)
5.1. Какое понятие является основным в классической теории информации?
5.2. Как происходит восприятие информации?
5.3. Чем сообщение отличается от сигнала?
5.4. Что такое кодер?
5.5. Назначение модулятора.
5.6. Какими сообщения могут быть по форме?
5.7. Чем вторичный алфавит отличается от первичного?
5.8. Сколько линий связи имеет многоканальная система передачи информации?
5.9. Какое число различных слов можно передать, используя только 3 буквы?
5.10. Что показывает энтропия?
5.11. Когда можно получить большие информации, при большем или меньшем значении энтропии?
5.12. Если энтропия сообщения равна 0, то это можно сказать об этом сообщении.
5.13. В каком случае используется канальная матрица типа P(a/b)?
5.14. В каком случае используется канальная матрица типа P(b/a)/
5.15. Заполнить канальную матрицу:
5.16. Заполнить канальную матрицу:
5.17. Какое основное свойство канальной матрицы симметричного канала?
