.
530. Дана стохастична матриця
.
Знайти 
.
Відповідь.
.
531. Точка М випадково по трьох станах: М1, М2, М3. Із стану М1 точка М з імовірністю 
переходить до стану М2 і з імовірністю 
переходить до стану М3.
Із стану М2 точка М із імовірністю 
переходить до стану М1 і з імовірністю 
переходить до стану М3. Із стану М3 точка М з імовірністю 
переходить до стану М1 і з імовірністю 
переходить до стану М2. Скласти матрицю перехідних імовірностей 
та матрицю перехідних імовірностей за два кроки 
.
Відповідь.
, 
.
532. Точка М випадково блукає по чотирьох станах М1, М2, М3, М4, які розміщені послідовно на одній прямій. Із станів М2, М3 точка М із імовірностями 
переходить до сусіднього стану. Із крайніх точок М1, М4 точка М переходить до сусіднього стану з імовірністю 
. Скласти матрицю перехідних імовірностей матрицю перехідних імовірностей за два і чотири кроки марковського ланцюга
, 
, 
.
533. Точка М випадково блукає по чотирьох станах М1, М2, М3, М4, розміщеним послідовно на колі (рис. 1)
Рис. 1
Точка М з імовірністю 
переходить з точки Мk в сусідню точку проти часової стрілки і з імовірністю 
переходить в сусідню точку за часовою стрілкою. Скласти матрицю перехідних імовірностей і розрахувати 
.
Відповідь:
534. Нехай 
, 
, …, 
— незалежні випадкові величини такі, що
, 
, 
.
Показати, що послідовність пар
, 
, …, 
є ланцюгом Маркова. Знайти матрицю імовірностей переходів.
Розв’язок. Визначимо можливі значення пар (1, 1), (2, 1), (1, 2), (2, 2) числами 1, 2, 3, 4. Знайдемо імовірності
.
Частина цих імовірностей дорівнює нулю. Наприклад з стану 1 = (1,1) кільця потрапляють в стан 3 = (1, 2). Тому Р31 = 0. Знаходимо матрицю перехідних імовірностей
.
535. В умові попереднього завдання розглянути послідовність пар
, 
, 
, …, 
, 
.
Знайти матрицю перехідних імовірностей.
Відповідь.
.
536. Нехай марковський ланцюг визначено системою рівнянь
,
де визначені
.
Показати, що послідовність пар переходу
, 
, …, 
утворює ланцюг Маркова і віднайти матрицю перехідних імовірностей.
Відповідь.
.
3. Граничні імовірності
Марковський ланцюг 
називається ергодичною, якщо незалежно від початкового вектора 
існує межа
.
Проекції 
вектора
,
називається граничними імовірностями. Граничні імовірності не залежать від початкового стану та задовольняють системі рівнянь
(11)
чи
.
Якщо в якості початкового розподілу взяти 
, то через один крок розподіл імовірностей не зміниться, то 
, 
. Імовірності 
називають стаціонарним розподілом. Система нерівностей (11) містить лінійно залежні рівняння. До цих нерівностей треба ще додати рівняння
.
Для того, щоб марковський ланцюг 
була ергодичною досить, щоб усі елементи матриці були додатними. Матриця завжди має одне власне число 
.
Для того, щоб марковський ланцюг був ергодичним необхідно і достатньо, щоб лише одне власне число матриці дорівнювало модулю одиниця, а решта власних чисел матриці були по модулю менше одиниці.
З результатів О. Перрона та Г. Фробеніуса випливає, що всі власні числа стохастичної матриці лежать в колі 
, а якщо і лежать на колі 
, то лише в точках виду 
, 
. Тому справедлива теорема.
Теорема. Для того, щоб однорідний марковський ланцюг
, 
(12)
був ергодичним необхідно і досить, щоб виконувалася нерівність
,
де матриця В розміру 
має елементи
. (13)
Теорема. Для того, щоб марковський ланцюг (12) був ергодичним необхідно і досить, щоб всі власні числа матриці В з елементами 
(13) були по модулю менше одиниці, тобто щоб
.
537. Знайти стаціонарний розподіл імовірностей ланцюга Маркова
, 
.
З системи рівнянь (11)
, 
, 
де 
, 
, 
, 
, знаходимо 
, 
.
538. Знайти стаціонарні імовірності марковського ланцюга
.
Розв’язок. Матриця має два власних числа 
, 
, рівні по модулю одиниці. Цьому марковський ланцюг не може бути ергодичним.
Можна безпосередньо перевірити, що
, 
.
Межа 
не існує. Отже, марковський ланцюг неергодичний.
541. Довести неергодичність марковського ланцюга з матриці перехідних імовірностей
.
Розв’язок. Можна знаходити матриці 
та показати, що не існує. Інший спосіб полягає в використанні матриці В з елементами (13)
.
Матриця В має власні числа
.
В силу попередньої теореми марковський ланцюг неергодичний.
4. Розщеплення марковського ланцюга
Стан 
називається досяжним із стану 
, якщо 
хоч би для одного 
. Стани 
називаються сполучними, якщо кожні з них досяжні для іншого. Визначимо стан 
через Х. Підмножина 
називається класом сполучних станів, якщо будь-які два стани з 
сполучаються. Клас сполучні стани називається замкненим, якщо з нього немає виходу, тобто
, ; 
, 
.
У всій множині Х виділяються класи 
замкнених сполучних станів і декотрі множини 
станів, не належать ніяким класам сполучних станів. Стан з називається неістотним. За будь-якого при 
виконано співставлення
.
За досить великого значення 
можна зневажити імовірністю перебування в неістотному стані . Кожний клас сполучних станів можна розглядати незалежно від інших. Це дозволяє розщепити марковський ланцюг на незалежні марковські ланцюги.
542. Розщепити марковський ланцюг з матрицею перехідних імовірностей
.
Множина 
утворюємо неістотний стан.
3. Множини 
, 
є замкненими класами станів які співставляються.
Ланцюг Маркова в межі за 
розщеплюється на ланцюги Маркова
Розглянемо декотрі стани 
та відповідні елементи 
матриці 
. Стан називається поверненим, якщо
та неповерненим, якщо
.
В завданні 542 стан 
неповернене, так як 
і рядок 
.
543. Дослідимо стан марковського ланцюга
, 
.
Знаходимо матрицю
та елементи
, 
.
Оскільки рядок 
, то стан 1 неповернений. Рядок 
розбігається і стан 2 повернений.
Другий спосіб множення розмірності марковського ланцюга полягає у групуванні різних станів. При цьому знову приходимо до марковського ланцюга.
544. Розглядається ланцюг Маркова із трьома станами.
, 
.
Поєднуємо перший і другий стани в один стан, котрий позначаємо через стан 4. Оскільки стан 3 не поєднувався, то 
. Розглядуваний марковський ланцюг ергодичний та при цьому 
. З систем нерівностей
знаходимо систему різницевих рівнянь
.
Вважається 
, отримаємо систему рівнянь марковського ланцюга
,
з матрицею перехідних імовірностей
.
545. Нехай марковський ланцюг ергодичний та має матрицю перехідних імовірностей
.
Об’єднаємо перші два стани в стан 4. Знайти матрицю перехідних імовірностей для ланцюга Маркова
.
Відповідь.
.
546. Розглядається марковський ланцюг
де
.
Об’єднаємо стан 1, 2 в стан 5, а стани 3, 4 в стан 6. Знайти марковський ланцюг
.
Відповідь. 
.
4.7. Марковський ланцюг для неперервних
випадкових величин
Нехай неперервні випадкові величини 
мають щільність імовірностей 
, 
. Розглядається послідовність функцій , які задовольняють функціональному рівнянню
, 
випливає, що
, 
.
Оператор 
, який здійснює перетворення 
в 
називається стохастичним. Стохастичний оператор є узагальненням поняття стохастичної матриці на нескінченно мірний випадок.
Приклад. Лініні оператори 
, 
, 
є стохастичними операторами.
Якщо L — стохастичний оператор, то рівняння (14) визначає марковський ланцюг.
547. Розглянемо марковський ланцюг
.
При цьому знаходимо
; 
.
Введемо математичне очікування 
і другі початкові моменти 
.
|
Из за большого объема этот материал размещен на нескольких страницах:
1 2 3 4 5 |
