Цепи Маркова

Федеральное агентство по образованию

Государственное образовательное учреждение высшего профессионального образования

«НОВГОРОДСКИЙ ГОСУДАРСТВЕННЫЙ УНИВЕРСИТЕТ им. ЯРОСЛАВА МУДРОГО»

Кафедра «Прикладная математика и информатика»

УТВЕРЖДАЮ

Ректор ИЭИС

_____________

«____» ______________2006 г.

ЦЕПИ МАРКОВА

Дисциплина для направления 010500
и специальности 010501 – прикладная математика и информатика

Рабочая программа

СОГЛАСОВАНО Начальник учебно-методического Отдела _______________ «____» ______________2006 г

Принято на заседании кафедры «____»______________ 2006 г. Разработал ___________ «____» ______________2006 г.

Введение

Дисциплина «Цепи Маркова» входит в блок дисциплин национально-регионального компонента и читается в 6-семестре. Дисциплина «Цепи Маркова» является одним из разделов теории вероятностей и читается как логическое продолжение классического курса «Теория вероятностей и математическая статистика», связана с курсом «Теория случайных процессов» и рядом прикладных дисциплин, использующих последовательности испытаний, которые являются марковскими цепями.

Дисциплина изучается в течение одного семестра и следует обязательно после изучения дисциплины «Теория вероятностей и математическая статистика», которая формирует базисные, фундаментальные понятия для изучения курса «Цепи Маркова». В курсе также используются элементы математической статистики. Перестановка местами этих курсов, а также их параллельное изучение, недопустимы. Курс «Цепи Маркова» также функционально связан с курсом «Теория случайных процессов», использует понятия этого курса и должен изучаться вслед за указанной дисциплиной или параллельно ей.

Целями преподавания дисциплины являются:

·  изучение студентами теоретических основ дисциплины;

·  приобретение студентами практических навыков по изучаемой дисциплине;

·  создание базиса для дальнейшего самостоятельного изучения предмета.

1 Объем дисциплины, виды учебной работы и формы контроля

Таблица 1.1 – Дневная форма обучения

Вид учебной работы	Всего	Часов по семестрам
6 семестр
Аудиторные занятия	34	34
- лекции	17	17
- практические занятия	17	17
- семинары	-	-
- лабораторные работы	-	-
Самостоятельная работа	26	26
- курсовой проект	-	-
- расчетно-графическая работа	-	-
- реферат	-	-
- контрольная работа	9	9
- прочие	17	17
Всего	60	60
Вид итогового контроля	зачет	зачет

2 Содержание дисциплины

Таблица 2.1 – Содержание теоретических занятий

Тема	Трудоемкость в часах
Очная форма
Ауд.	СРС
1 Целочисленные случайные величины Производящая функция последовательности. Связь производящих функций вероятностей с моментами. Свертки последовательностей. n–кратные свертки. Возвращение в начало и времена ожиданий в испытаниях Бернулли. Разложение производящих функций на простейшие дроби. Восстановление последовательности вероятностей по производящей функции (точные и приближенные методы).	4	3
2 Рекуррентные события Примеры и основные определения. Основные соотношения и их применение.	2	1
3 Случайное блуждание и задачи о разорении. Основные понятия. Классическая задача о разорении. Математическое ожидание продолжительности игры.	2	1
4 Марковские процессы с дискретными состояниями и дискретным временем Цепь Маркова. Определения и примеры. Вероятности перехода и безусловные вероятности состояний. Замыкания и замкнутые множества. Граф состояний. Классификация состояний. Процесс гибели и размножения. Вероятности перехода за несколько шагов. Марковские процессы с дискретным временем. Эргодичность. Стационарный режим в цепи Маркова. Неприводимые цепи. Разложения.	6	6
5 Марковские процессы с дискретными состояниями и непрерывным временем Описание процесса. Уравнения Колмогорова. Однородные марковские процессы. Стационарный режим. Уравнения для предельных вероятностей.	2	2
6 Марковские процессы гибели и размножения с непрерывным временем Описание процесса. Граф состояний. Стационарный режим.	1	1
ВСЕГО	17	14

Таблица 2.2 – Содержание практических работ

Тема	Трудоемкость в часах
Очная форма
Ауд.	СРС
1 Целочисленные случайные величины Вычисление производящих функций последовательностей. Связь производящих функций с моментами. Свертки последовательностей. n–кратные свертки. Разложение производящих функций на простейшие дроби. Восстановление последовательности вероятностей по производящей функции (точные и приближенные методы).	3	2
2 Рекуррентные события Примеры. Использование основных соотношений.	1	1
3 Случайное блуждание и задачи о разорении. Основные понятия. Классическая задача о разорении. Математическое ожидание продолжительности игры.	1	1
4 Марковские процессы с дискретными состояниями и дискретным временем Примеры цепей Маркова. Вероятности перехода и безусловные вероятности состояний. Замкнутые множества. Граф состояний. Классификация состояний. Процесс гибели и размножения. Вероятности перехода за несколько шагов. Марковские процессы с дискретным временем. Эргодичность. Стационарный режим в цепи Маркова. Неприводимые цепи. Разложения.	8	4
5 Марковские процессы с дискретными состояниями и непрерывным временем Методика составления системы уравнений Колмогорова. Однородные марковские процессы. Стационарный режим. Уравнения для предельных вероятностей.	2	1
6 Контрольные мероприятия	2	3
ВСЕГО	17	12

3 Учебно-методическое обеспечение

3.1 Список рекомендуемой литературы

3.1.1 Основная литература

1.  Введение в теорию вероятностей и её приложения. Т. 1. – М.: Мир, 1984.

2.  , Овчаров случайных процессов и её инженерные приложения. – М.: Наука, 1991.

3.  Кемени Дж., Снелл Дж. Конечные цепи Маркова.- М.: Наука, 1970.

4.  Розанов процессы. - М.: Наука, 1971.

5.  Агапов по теории вероятностей. – М.: Высшая школа, 1994.

6.  , , Фишман в медицине и биологии: Руководство. В 2-х томах. Т.1. Теоретическая статистика. – М.: Медицина, 2000.

3.1.2 Дополнительная литература

1.  Стохастические процессы и броуновское движение. - М.: Наука, 1972.

2.  Мацкевич математика. Теория вероятностей и математическая статистика. – Минск. Вышэйшая школа, 1993.

3.  Гмурман вероятностей и математическая статистика. – М.: Высшая школа, 1977.

4.  , Калинина вероятностей и математическая статистика. Учебник /Под ред. . – М.: ИНФРА – М, 1997.

5.  Вероятность. - М.: Наука, 1982.

6.  , , Чистяков задач по теории вероятностей: Учебное пособие для вузов. - М.: Наука, 1989.

3.2 Список методических рекомендаций и указаний

Токмачев программа дисциплины «Цепи Маркова» для специальности 010500 – «Прикладная математика и информатика», НовГУ, 2006. 10 с.

3.3 Педагогические контрольные (испытательные) материалы

3.3.1 Задания для проверки в контрольных работах

Вариант контрольной работы №1

1.  Случайная величина X имеет распределение Пуассона с параметром l = 3 .

Найти: а) производящую функцию последовательности пуассоновских вероятностей;

б) производящую функцию последовательности {qn}, где qn = P(X ³ n ).

2.  Производящая функция последовательности {pn} имеет вид

Найти точные и приближенные значения {pn}.

3.  Случайная величина X имеет распределение

xm	0	1	2	3	4	5	6	7
аm	1/8	1/8	1/8	1/8	1/8	1/8	1/8	1/8

Случайная величина Y ~ B (7; 0.5) и имеет последовательность вероятностей { bm}.

Случайная величина Z ~ B (5; 0.5) и имеет последовательность вероятностей {cm}.

Последовательность { pm } = {аm} * { bm} * {cm}.

Найти: p0, p19, p38.

Вариант контрольной работы №2

1. Работники коммерческого предприятия поделены на три группы:

·  Е1 – высокооплачиваемые;

·  Е2 – средний доход;

·  Е3 – низкооплачиваемые.

Статистическое обследование оценило вероятности перехода работников из одной группы в другую в течение года. При этом, учитывается возможность увольнения Е4. Стохастическая матрица имеет вид

.

Найти вероятность, что через два года

а) работник со средним доходом может оказаться высокооплачиваемым;

б) низкооплачиваемый работник может быть уволен.

2. Два автомобиля А и В сдаются в аренду по одной и той же цене. Возможные состояния автомобилей

·  Е1 – работает хорошо;

·  Е2 – требует регулировки.

Стохастические матрицы имеют вид

, .

Найти стационарные вероятности для обоих автомобилей. Какой автомобиль стоит арендовать?

3. Техническое устройство (ТУ) может находиться в одном из двух состояний

·  Е1 - ТУ исправно (работает);

·  Е2 - ТУ неисправно (в ремонте).

На ТУ, находящееся в состоянии Е1, действует поток отказов с интенсивностью l1 = 2, который переводит ТУ в состояние Е2. Аналогично, на ТУ, находящееся в состоянии Е2, действует поток восстановлений с интенсивностью l2 = 3. Потоки независимые, пуассоновские. В начальный момент t = 0 ТУ исправно с вероятностью 1.

Для вероятностей состояний записать уравнение Колмогорова и найти вероятности Р1 (t), Р2 (t). Исследовать поведение найденных вероятностей при t ® ¥.

3.3.2 Контрольные вопросы к зачету

Производящая функция последовательности. Связь производящих функций вероятностей с моментами. Свертки последовательностей. n–кратные свертки. Примеры. Возвращение в начало и времена ожиданий в испытаниях Бернулли. Разложение производящих функций на простейшие дроби. Восстановление последовательности вероятностей по производящей функции (точные и приближенные методы).

5.  Рекуррентные события. Примеры и основные определения.

6.  Рекуррентные события. Основные соотношения и их применение.

7.  Случайное блуждание и задачи о разорении Основные понятия.

8.  Классическая задача о разорении. Математическое ожидание продолжительности игры.

9.  Цепь Маркова. Определения и примеры.

10.  Вероятности перехода в цепи Маркова и вычисление безусловных вероятностей состояний.

11.  Граф состояний. Классификация состояний.

12.  Процесс гибели и размножения.

13.  Вероятности перехода за несколько шагов. Уравнение Колмогорова-Чепмена.

14.  Марковские процессы с дискретным временем. Эргодичность.

15.  Стационарный режим в цепи Маркова.

16.  Неприводимые цепи. Разложения.

17.  Описание Марковского процесса с дискретными состояниями и непрерывным временем.

18.  Уравнения Колмогорова (принцип построения).

19.  Однородные марковские процессы. Стационарный режим. Уравнения для предельных вероятностей.

Марковские процессы гибели и размножения с непрерывным временем.

Карта учебно-методического обеспечения

Дисциплина – Цепи Маркова

Направление 010500 и специальность 010501 – Прикладная математика
и информатика

Форма обучения – дневная

Часов: всего - всего часов 34, лекций 17, практ. занятий 17, лаб. раб. -.

Институт – ИЭИС Кафедра – ПМИ

Таблица 1 – обеспечение дисциплины учебными изданиями

Библиографическое описание издания (автор, наименование, вид, место и год издания, кол. стр.)	Вид занятия, в котором используется	Число часов, обеспечиваемых изданием	Кол. экз. в библ. НовГУ (на каф.)	Прим.
Введение в теорию вероятностей и её приложения. Т. 1. – М.: Мир, 1984. – 528с.	Лекции, практ. занятия	12 10	8
, Овчаров случайных процессов и её инженерные приложения. – М.: Наука, 1991.- 384с.	Лекции, практ. занятия	10 8	23
Кемени Дж., Снелл Дж. Конечные цепи Маркова.- М.: Наука, 1970. – 272с.	Лекции, практ. занятия.	10 8	10
Розанов процессы. - М.: Наука, 1971.	Лекции, практ. занятия	5 2	5
Агапов по теории вероятностей. – М.: Высшая школа, 1994. – 112с.	Лекции, практ. занятия	- 6	10
, , Фишман в медицине и биологии: Руководство. В 2-х томах. Т.1. Теоретическая статистика. – М.: Медицина, 2000.- 456с.	Лекции, практ. занятия	4 2	50

Таблица 2. Обеспечение дисциплины учебно-методическими изданиями.

Библиографическое описание издания (автор, наименование, вид, место и год издания, кол. стр.)	Вид занятия, в котором используется	Число часов, обеспечиваемых изданием	Кол. экз. в библ. НовГУ (на каф.)	Прим.
Токмачев программа дисциплины «Цепи Маркова» для специальности 010500 – «Прикладная математика и информатика», НовГУ, 2006. 10 с.	Лекции, практ. занятия	34	5	электронная версия