Теория информации и энтропии

КАЗАХСКИЙ НАЦИОНАЛЬНЫЙ УНИВЕРСИТЕТ ИМ. АЛЬ-ФАРАБИ

Физико-технический факультет

Кафедра твердого тела и нелинейной физики

Утверждено

На заседании Ученого Совета физического факультета

Протокол № __ от "__" 2011г.

Декан факультета________ доц. А.

"____"________________2011г.

По курсу Теория информации и энтропии

СИЛЛАБУС (SYLLABUS)

для студентов 2 курса специальности 5В071900-Радиофизика, электроника и телекоммуникации

2 курс, р/о, осенний семестр, 3 кредита

ФИО лектора: Иманбаева Акмарал Каримовна

Телефон [phone]

ФИО преподавателя: Иманбаева Акмарал Каримовна.

Телефон: [phone]

e-mail: *****@***kz

каб.: 425

Пререквизиты: общая физика, информатика, математика1,2

Постреквизиты: методы защиты информации в телекоммуникационных системах, Средства и методы радиоэлектронной борьбы.

Цель и задачи изучения дисциплины:

Цель преподавания курса - ознакомление с основами теории информации и теории кодирования, которые являются фундаментом теории связи, информатики, и кодирования.

Задачи:

·  Освоение способов измерения, передачи и обработки информации.

·  Освоение методов кодирования источника (сжимающее кодирование).

·  Освоение методов канального кодирования (помехоустойчивое кодирование).

·  Вычисления информационной энтропии различных процессов.

·  Освоение основ теории защиты информации.

При освоении курса «Теория информации и энтропии» студентам необходимо знать:

- способы хранения, обработки, преобразования, передачи и измерения информации;

- статистические и словарные методы сжатия информации;

- криптографические методы защиты информации.

Бакалавр должен уметь:

- измерять (вычислять) количество информации и информационную энтропию дискретных случайных величин;

- вычислять полную, условную и случайную энтропию источника информации;

- использовать алгоритмы кодирования источника и канала связи.

Должен овладеть:

- методами кодирования источника информации;

- методами кодирования канала связи;

- криптографическими методами защиты информации.

Структура курса:

Нед	Наименование темы	Часы	Темы СРС
1	Лек	Предмет «Теория информации и энтропии». Основные разделы кибернетики. Основоположники кибернетики. Категория управления.	1
Пр	Системы счисления. Арифметические основы компьютеров.	2
2	Лек	Понятие информации. Определение Шеннона. Виды информации. Дискретная (цифровая) и непрерывная (аналоговая) информация. Процесс дискретизации, частота дискретизации. Теорема Найквиста.	1
Пр	Представление натуральных чисел в 2-, 8-, 16-ти системах счисления. Таблицы ASCII.	2
3	Лек	Вероятностный подход к измерению дискретной и непрерывной информации. Информационная энтропия. Информационная энтропия или энтропия Шеннона	1
Пр	Измерение количества информации и энтропии.	2
4	Лек	Радиотехническая модель передачи информации. Источник информации. Кодирование. Кодер источника. Сжатие информации.	1
Пр	Расчет количества информации и энтропии. Контрольная работа №1	2
5	Лек	Оптимальное кодирование. Простейшие алгоритмы сжатия.	1
Пр	Кодирование по методу Шеннона	2
6	Лек	Адаптивные алгоритмы сжатия. Кодирование Хаффмана. Адаптивное арифметическое кодирование.	1
Пр	Кодирование по методу Хаффмана. Алгоритм арифметического кодирования	2
7	Лек	Словарно-ориентированные коды.	1
Пр	Методы Лемпель-Зива.	2
8	Лек	Кодер канала. Помехоустойчивое кодирование. Модулятор. Функция модулятора. Канал связи Приемник.	1
Пр	Корректирующие коды Хэмминга	2
9	Лек	Сжатие информации с потерями.	1
Пр	Сжатие даных. Контрольная работа №2	2
10	Лек	Сжатие изображений.	1
Пр	Алгоритмы сжатия изображений. Фрактальное сжатие.	2
11	Лек	Полная, условная и случайная энтропия. Энтропия дерева.	1
Пр	Расчеты условной энтропии и энтропия сложного процесса.	2
12	Лек	Энтропия случайных процессов.	1
Пр	Расчет информационной энтропии хаотических сигналов	2
13	Лек	Основы теории защиты информации. Криптография. Криптосистема без передачи ключей.	1
Пр	Шифры простой замены. Шифры перестановки.	2
14	Лек	Криптосистема с открытым ключем.	1
Пр	Алгоритмы криптосистем без передачи ключей. Алгоритмы криптосистем с открытым ключем	2
15	Лек	Электронная подпись. Информация в Интернет.	1
Пр	Контрольная работа №3	2

Список рекомендуемой литературы

Основная:

1.  В. Теория информации: Учебное пособие. – М., 2002. – 116 с.

2.  В. Теория кодирования и теория информации. М.: Радио и связь. 1983. – 176 с.

3.  А. Теория информации. - Издательство: Гелиос АРВ (2007). 248 с.

4.  Нечаев, В. И. Элементы криптографии: (Основы теории защиты информации).- М.: Высш. шк., 1999.- 108, [1] с.

Дополнительная:

1.  М. и М. Вероятность и информация. М.: Наука, 1973. – 511 с.

2.  Молдовян, А. А. и др. Криптография: Учеб..- СПб.: Лань, 2001.- 218, [6] с.

3.  http://aakytmanov. professorjournal. ru/inftheory

Формы контроля знаний:

1.  Контрольная работа №1. Расчет количества информации и энтропии

2.  Контрольная работа №2. Методы сжатия информации.

3.  Контрольная работа №3. Криптография

Экзамен: во время сессии.

Критерии оценок знаний, баллы

Контрольная работа – 15 балл*3 = 45

Текущий контроль - 15 = 15

СРСП 10 = 10

Экзамен – 40

Промежуточная аттестация проводится в виде экзамена. Максимальный показатель успеваемости за промежуточную аттестацию составляет 40 %.

Итоговый показатель успеваемости по дисциплине определяется как сумма показателей успеваемости по рубежным контролям (60%) и промежуточной аттестации – экзамена (40%). Максимальное значение итогового показателя составляет 100%.

Политика курса:

а) Активность во время занятий;

с) Подготовка к занятиям, выполнение домашнего задания и СРС и т. д.

Недопустимо:

а) Уход с занятий; в) Обман и плагиат; с) Несвоевременная сдача заданий и др.

Карта учебно-методической обеспеченности дисциплины

№	Факультет	Код и наименование специальности	Наименование дисциплины	Авторы и название учебника	Количество в библиотеке КазНУ имени аль-Фараби
основная	дополнительная
каз.	рус.	каз.	рус.
1	Физико-технический	5В071900-РЭТ	Теория информации и энтропии	В. Теория информации: Учебное пособие. – М., 2002. – 116 с.	подана заявка в библиотеку
2	Физико-технический	5В071900-РЭТ	Теория информации и энтропии	В. Теория кодирования и теория информации. М.: Радио и связь. 1983. – 176 с.	подана заявка в библиотеку
3	Физико-технический	5В071900-РЭТ	Теория информации и энтропии	А. Теория информации. - Издательство: Гелиос АРВ (2007). 248 с.	подана заявка в библиотеку
4	Физико-технический	5В071900-РЭТ	Теория информации и энтропии	Нечаев, В. И. Элементы криптографии: (Основы теории защиты информации).- М.: Высш. шк., 1999.- 108, [1] с.		10
5	Физико-технический	5В071900-РЭТ		Молдовян, А. А. и др. Криптография: Учеб..- СПб.: Лань, 2001.- 218, [6] с.		10
6	Физико-технический	5В071900-РЭТ		М. и М. Вероятность и информация. М.: Наука, 1973. – 511 с.				2

Утверждено на заседании кафедры

Протокол № « » 2011 г.

Заведующий кафедрой О. Ю. Приходько

К. Иманбаева

Основные порталы (построено редакторами)

Домашний очаг Дом • Дача • Садоводство • Дети • Активность ребенка • Игры • Красота • Женщины • (Беременность) • Семья • Хобби Здоровье: • Анатомия • Болезни • Вредные привычки • Диагностика • Народная медицина • Первая помощь • Питание • Фармацевтика История: СССР • История России • Российская Империя Окружающий мир: Животный мир • Домашние животные • Насекомые • Растения • Природа • Катаклизмы • Космос • Климат • Стихийные бедствия Справочная информация Документы • Законы • Извещения • Утверждения документов • Договора • Запросы предложений • Технические задания • Планы развития • Документоведение • Аналитика • Мероприятия • Конкурсы • Итоги • Администрации городов • Приказы • Контракты • Выполнение работ • Протоколы рассмотрения заявок • Аукционы • Проекты • Протоколы • Бюджетные организации Муниципалитеты • Районы • Образования • Программы Отчеты: • по упоминаниям • Документная база • Ценные бумаги Положения: • Финансовые документы Постановления: • Рубрикатор по темам • Финансы • города Российской Федерации • регионы • по точным датам Регламенты Термины: • Научная терминология • Финансовая • Экономическая Время: • Даты • 2015 год • 2016 год Документы в финансовой сфере • в инвестиционной • Финансовые документы - программы

Техника Авиация • Авто • Вычислительная техника • Оборудование • (Электрооборудование) • Радио • Технологии • (Аудио-видео) • (Компьютеры) Общество Безопасность • Гражданские права и свободы • Искусство • (Музыка) • Культура • (Этика) • Мировые имена • Политика • (Геополитика) • (Идеологические конфликты) • Власть • Заговоры и перевороты • Гражданская позиция • Миграция • Религии и верования • (Конфессии) • Христианство • Мифология • Развлечения • Масс Медиа • Спорт (Боевые искусства) • Транспорт • Туризм Войны и конфликты: Армия • Военная техника • Звания и награды Образование и наука Наука: Контрольные работы • Научно-технический прогресс • Педагогика • Рабочие программы • Факультеты • Методические рекомендации • Школа • Профессиональное образование • Мотивация учащихся Предметы: Биология • География • Геология • История • Литература • Литературные жанры • Литературные герои • Математика • Медицина • Музыка • Право • Жилищное право • Земельное право • Уголовное право • Кодексы • Психология (Логика) • Русский язык • Социология • Физика • Филология • Философия • Химия • Юриспруденция

Мир Регионы: Азия • Америка • Африка • Европа • Прибалтика • Европейская политика • Океания • Города мира Россия: • Москва • Кавказ • Регионы России • Программы регионов • Экономика Бизнес и финансы Бизнес: • Банки • Богатство и благосостояние • Коррупция • (Преступность) • Маркетинг • Менеджмент • Инвестиции • Ценные бумаги: • Управление • Открытые акционерные общества • Проекты • Документы • Ценные бумаги - контроль • Ценные бумаги - оценки • Облигации • Долги • Валюта • Недвижимость • (Аренда) • Профессии • Работа • Торговля • Услуги • Финансы • Страхование • Бюджет • Финансовые услуги • Кредиты • Компании • Государственные предприятия • Экономика • Макроэкономика • Микроэкономика • Налоги • Аудит Промышленность: • Металлургия • Нефть • Сельское хозяйство • Энергетика Строительство • Архитектура • Интерьер • Полы и перекрытия • Процесс строительства • Строительные материалы • Теплоизоляция • Экстерьер • Организация и управление производством