Условие задания

Условие задания:

Пусть и – Цепь Маркова на {1,2} с

1) Напишите прямые уравнения, решите их для вероятностей перехода

2) Посчитайте и найдите . Сравните с 1).

3) Решите уравнение для того, чтобы найти стационарное распределение. Покажите, что как

4) Найти

5) Найти

Решение.

1.  Прямые уравнения для вероятностей перехода Pij (t) = P {X(t) = J | X(0) = I} есть:

(1)

Условие нормировки:

(2)

Начальные значения:

(3)

Система линейных неоднородных дифференциальных уравнений (1) с учетом нормировки (2) и начальных условий (3) имеет следующее решение:

P11 (t) = λ/(λ+μ) + (μ /(λ+μ))*exp(-(λ+μ)t)

P12 (t) = (μ /(λ+μ))*(1-exp(-(λ+μ)t))

P21 (t) = (λ/(λ+μ) )*(1-exp(-(λ+μ)t)) (4)

P22 (t) = μ /(λ+μ) + (λ /(λ+μ))*exp(-(λ+μ)t)

2.  Характеристические корни матрицы G определяются как решение следующего линейного уравнения:

det (G – g I) = 0, I - единичная матрица.

Имеем:

det (G – g I) = det = (g + μ)*( λ + g) – λμ = 0 (5)

Корни этого уравнения есть:

g1 = 0, g2 = - (λ+μ)

Поскольку характеристические корни различны, матрица G может быть представлена в виде:

(6)

где матрица

(7)

С учетом (6), получим:

и, для любого n:

(8)

Обозначим для краткости g = -(λ+μ), тогда т-я степень матрицы L запишется в виде+

(9)

Теперь необходимо вычислить элементы матрицы А. Из (6) следует:

G*A = A*L (10)

Положим: A11 =a, A12 =b, A21 =c, A22 =d.

Матричное уравнение (10) примет вид:

(11)

Из (11) следует:

- μ (а-с) = 0 или а = с <> 0

b = (λ + g)*d/λ = - μ*d/λ

Поскольку умножение столбцов матрицы А на константу не изменяет конечного результата (см (6)), то положим: а = с = 1, b = μ, d = - λ.

Тогда:

, (12)

С учетом полученных результатов, выражение (8) можно представить в следующем виде:

Следовательно:

(13)

Сравнивая (13) с (4), получим:

P11 (t) = λ/(λ+μ) + Q11

P12 (t) = μ /(λ+μ) + Q12

P21 (t) = λ/(λ+μ) + Q21

P22 (t) = μ /(λ+μ) + Q22

где Qij – элементы матрицы Q.

С учетом результатов 3), имеем:

P11 (t) = π1 + Q11

P12 (t) = π2 + Q12

P21 (t) = π1 + Q21

P22 (t) = π2 + Q22

3.  Стационарное решение для вероятности πi нахождения процесса в состоянии Хi, i = 1, 2 определяется как решение линейного уравнения:

πG = 0 (14)

условие нормировки: π1 + π2 = 1

Решение (14) с учетом условия нормировки есть:

π1 = λ/(λ+μ)

π2 = μ/(λ+μ) (15)

Из (4) при t →∞ получим:

P11 (t→∞) = λ/(λ+μ) = π1

P12 (t →∞) = μ /(λ+μ) = π2

P21 (t →∞) = λ/(λ+μ) = π1 (16)

P22 (t →∞) = μ /(λ+μ) = π2

Отметим, что стационарные вероятности нахождения в состоянии Хi не зависят от начального условия.

4.  Поскольку вероятности Рij получены как решение прямого уравнения, их значения зависят только от момента времени t0 < t и текущего времени t. Так как t>0 и 3t>t, то вероятности Рij в момент времени t зависят только от момента времени t = 0. Поэтому:

P(X(t)=2|X(0)=1, X(3t)=1) = P(X(t)=2|X(0)=1) = P12 (t)

5.  Поскольку вероятности Рij получены как решение прямого уравнения, их значения зависят только от момента времени t0 < t и текущего времени t. Так как t>0 и 3t>t, 4t>t, то вероятности Рij в момент времени t зависят только от момента времени t = 0. Поэтому:

P(X(t)=2|X(0)=1, X(3t)=1), X(4t) = 1 = P(X(t)=2|X(0)=1) = P12 (t)