Программа, методические указания и контрольные задания
Министерство образования Республики Беларусь
Учреждение образования
«Белорусский государственный университет информатики
и радиоэлектроники«
Кафедра автоматического управления
Н. И. Сорока, Г. А. Кривинченко
ПРОГРАММА, МЕТОДИЧЕСКИЕ УКАЗАНИЯ
И КОНТРОЛЬНЫЕ ЗАДАНИЯ
по курсу "Теория передачи информации"
для студентов специальностей 53.01.03 «Автоматическое управление
в технических системах» и 53.01.07 «Информационные технологии
и управление в технических системах»
Факультет заочного, вечернего и дистанционного обучения
Лекций – 17 часов
Практических занятий – 17 часов
Самостоятельные работы – 56 часов
Форма отчетности – зачет (экзамен)
Минск 2004
B. ЦЕЛИ И ЗАДАЧИ ДИСЦИПЛИНЫ, ЕЕ МЕСТО В УЧЕБНОМ ПРОЦЕССЕ
B.1. Цель преподавания дисциплины
Теория передачи информации в ее современном виде – это научная дисциплина, изучающая способы передачи и хранения информации наиболее надежны и экономичным методом.
Целью преподавания дисциплины являются сообщения знаний по теории передачи информации для контроля и управления технологическими процессами.
B.2. Задачи изучения дисциплины
Знание основ теории передачи информации позволит студентам оценить предельные возможности различных технических систем: передачи данных, радиолокационных, измерительных, телемеханических и т. д.
Основной задачей изучения дисциплины “Теория передачи информации” является приобретение навыков самостоятельной работы по расчету информационных характеристик источников и каналов связи с целью обеспечения высокой помехоустойчивости и эффективности.
В результате освоения курса “Теория передачи информации” студент должен:
знать:
- этапы обращения информации;
- проблемы передачи информации;
- количественную оценку информации;
уметь характеризовать:
- основные проблемы образования сигналов;
- основные проблемы передачи информации по непрерывным дискретным каналам связи;
- связь теории информации с практикой;
уметь анализировать:
- непрерывные и дискретные источники информации;
- каналы связи с помехами и без помех;
- принципы кодирования и криптографического закрытия информации;
приобрести навыки и качества:
- расчета информационных характеристик источников сообщения;
- расчета информационных характеристик каналов связи;
- криптографического закрытия информации;
- построения эффектных кодов;
- помехоустойчивого кодирования информации.
В.3. Перечень дисциплин, усвоение которых необходимо для изучения данной дисциплины
№ пп | Название дисциплины | Раздел, тема |
1 | Теория вероятности и математическая статистика | Случайные события. Случайные величины. Математическая статистика. |
2 | Математические основы теории систем | Математическое описание сигналов |
1. ПРОГРАММА И МЕТОДИЧЕСКИЕ УКАЗАНИЯ
ПО ТЕМАМ КУРСА
Тема 1. Основные понятия и определения информации
(самостоятельная работа 4 часа)
Предмет курса "Теория передачи информации" и его задачи. Основные определения информации. Определение теории информации как научной дисциплины. Этапы обращения информации: восприятие, подготовка, передача, обработка, хранение, отображение, воздействие. Схема образования сигнала.
Системы передачи информации. Структурная схема передачи информации. Определения: сообщение сигнала, модуляция, кодирование, достоверность, помехи, линии и каналы связи.
Уровни проблем информации. Характеристика и проблемы синтактического, семантического и прагматического уровней.
[1, c. 4-16; 2, c. 1-9; 3, с. 3-9.].
Методические указания
Эта тема дает основные понятия и определения теории передачи информации. Важно уяснить, какое место занимают информационные наука и техника среди других научно-технических дисциплин. Усвоить методологическую схему образования сигнала, основные этапы отображения информации. Изучить принцип получения сообщений, их преобразования, передачи и приема.
Уметь охарактеризовать уровни проблем информации и четко представлять в чем их отличие.
Вопросы для самопроверки
1. Что понимают под термином "информация"?
2. Приведите схему образования сигнала и поясните ее.
3. Дайте определение теории информации как научной дисциплины.
4. Назовите этапы обращения информации.
5. Приведите структурную схему системы передачи информации и поясните ее.
6. Что понимают под сообщением и сигналом?
7. В чем отличие дискретных и непрерывных сообщений?
8. Что понимают под кодированием и модуляцией?
9. Дайте определение линии и канала связи.
10. Назовите уровни проблем передачи информации и дайте характеристику каждому уровню.
11. Назовите формы существования информации.
Тема 2. Количественная оценка информации
(самостоятельная работа 8 часов)
Количество информации при равновероятности состояний источника информации. Проблемы в оценке количества информации. Информационная емкость системы.
Энтропия ансамбля. Определение ансамбля. Среднее количество информации при неравновероятности состояний источника информации.
Энтропия объединения. Частная условная энтропия. Полная условная энтропия. Свойства энтропии.
Количество информации от опыта в общем случае. Основные свойства количества информации.
[1, c. 97-110; 2, c. 35-44; 3, с. 10-22.].
Методические указания
Эта тема является одной из самых важных, так как дает сведения о количественной оценке информации при различных состояниях источника сообщений. Здесь необходимо четко уяснить, в каких случаях можно пользоваться формулой Р. Хартли, а в каких – формулой К. Шеннона для определения количества информации. Изучить основные свойства энтропии. Знать и уметь записать выражения для энтропии зависимых и статистически независимых ансамблей. Научиться определять точное и среднее количества информации. Изучить основные свойства количества информации. Уметь графически изобразить энтропию объединения.
После изучения данной темы можно приступать к выполнению первой контрольной работы (задачи 3.1-3.6).
Вопросы для самопроверки
1. В чем сущность требования аддитивности к мере неопределенности выбора?
2. Что необходимо учитывать при выборе способа измерения количества информации?
3. В каких единицах измеряется количество информации?
4. Дайте определение энтропии.
5. Назовите основные свойства энтропии дискретного ансамбля.
6. Почему вводится понятие условной энтропии? Запишите выражение для условной энтропии и поясните ее смысл.
7. Приведите выражение для энтропии двух взаимно связанных ансамблей.
8. Как связаны между собой понятия количества информации и энтропии?
9. В чем различаются понятия частного и среднего количества информации?
10. Когда энтропия источника с двумя состояниями достигает максимума?
11. Запишите выражение для энтропии объединения нескольких независимых источников информации.
Тема 3. Источники дискретных сообщений
(самостоятельная работа 8 часов)
Эргодические источники сообщений. Энтропия источников при наличии коррелятивных связей между двумя и тремя символами. Граф состояния источников. Свойство энтропии эргодических источников. Типичные и нетипичные последовательности.
Избыточность источника сообщений. Поток информации источника сообщений.
[1, c. 131-139; 3, с. 22-28.].
Методические указания
При изучении данной темы обратить внимание на отличие эргодических источников от источников, в которых отсутствуют коррелятивные связи. Научиться определять энтропию источников при наличии коррелятивных связей между двумя, тремя и более элементами. Уяснить расчет числа типичных и нетипичных последовательностей. Уметь определять избыточность и поток информации источника. Научиться определять среднюю длительность выдачи источником одного знака.
Изучение данной темы позволяет решать задачи 3.7-3.12 контрольной работы № 1.
Вопросы для самопроверки
1. Дайте определение эргодическому источнику.
2. Запишите выражения для энтропии эргодического источника, когда коррелятивные связи имеются между двумя и тремя символами.
3. Приведите граф переходов, когда источник имеет четыре характерных состояния.
4. Что характеризует избыточность источника сообщений?
5. Перечислите свойства энтропии эргодических источников.
6. Что понимается под потоком информации источника сообщений?
7. Запишите выражение для определения средней длительности выдачи источником одного знака.
Тема 4. Источники непрерывных сообщений
(самостоятельная работа 8 часов)
Основные характеристики источников непрерывных сообщений. Энтропия, условная энтропия, эпсилон-энтропия, эпсилон-производительность, избыточность, объем информации. Свойство дифференциальной энтропии. Соотношения для дифференциальной энтропии объединения статистически зависимых непрерывных источников. Количество информации.
[1, c.123-128, с.147-148; 2, c.131-136; 3, c. 29-36.].
Методические указания
Изучить характеристики источников непрерывных сообщений. Научиться определять количество информации, содержащееся в одной непрерывной случайной величине относительно другой. Знать и уметь записать выражения для определения производительности, избыточности источника.
Знания этого раздела помогут решить задачи 3.13-3.15 контрольной работы № 1.
Вопросы для самопроверки
1. Перечислите особенности определения энтропии непрерывных источников информации.
2. Дайте определение дифференциальной энтропии.
3. Перечислите свойства дифференциальной энтропии.
4. Какие распределения обладают максимальной дифференциальной энтропией при ограничении на область изменения случайной величины и при ограничении на дисперсию случайной величины?
5. Дайте определения эпсилон-производительности и эпсилон-энтропии источника.
|
Из за большого объема этот материал размещен на нескольких страницах:
1 2 3 4 5 6 |
Основные порталы (построено редакторами)