Статистические методы последовательной обработки информации (стр. 1 )

Г л а в а 2

СТАТИСТИЧЕСКИЕ МЕТОДЫ

ПОСЛЕДОВАТЕЛЬНОЙ ОБРАБОТКИ ИНФОРМАЦИИ

2.1. РЕКУРРЕНТНЫЕ СХОДЯЩИЕСЯ АЛГОРИТМЫ

ПРИ ПОЛНОЙ АПРИОРНОЙ ИНФОРМАЦИИ

О ПОМЕХЕ

2.1.1. Метод стохастической аппроксимации

Метод стохастической аппроксимации был предложен в 1951 г. Робинсоном и Монро [1] для решения скалярных стохастических уравнений вида

, (2.1.1)

где с — искомый параметр;  — случайная последовательность с характеристиками

, .

Для нахождения корня стохастического уравнения (2.1.1) было предложено использовать рекуррентную последовательность

. (2.1.2)

Задача состоит в подборе такого коэффициента , который обеспечивал бы состоятельность оценки с в среднеквадратичном, а именно:

. (2.1.3)

Запишем математическое ожидание квадрата ошибки оценки на (i + 1)-м шаге через математическое ожидание квадрата ошибки оценки на i-м шаге:

. (2.1.4)

Введем обозначения:

; (2.1.5а)

;

; (2.1.5б)

. (2.1.5в)

Используя эти обозначения, запишем (2.1.4) в виде:

. (2.1.6)

Так как , , больше нуля, то для того, чтобы ошибка оценки на каждом шаге в принципе могла уменьшаться, необходимо выполнение условия:

. (2.1.7)

В противном случае, оценка будет расходиться.

Условие (2.1.7) будет выполняться, если и имеют одинаковые знаки, т. е.:

Анализируя выражение (2.1.5в), можно заключить, что при монотонно возрастающих функциях и при монотонно убывающих .

Таким образом, учитывая вышесказанное, функция должна быть монотонной, по крайней мере на отрезке , в противном случае может наблюдаться расходимость метода.

Выражение (2.1.6) можно представить в виде сумм:

.

Перепишем последнее выражение в ином виде:

.

Так как , то справедливо неравенство:

.

Возьмем предел по i от правой и левой частей неравенства:

. (2.1.8)

Наложим на последовательность условие

. (2.1.7)

Тогда, при допущении, что  — конечна, по признаку Абеля [6] сумма ряда  — ограничена, т. е.

.

Следовательно, справедливо неравенство

, (2.1.10)

т. е. ряд сходится.

Если теперь на наложим еще одно условие, а именно:

, (2.1.11)

то, на основании признака Дирихле [6], необходимым и достаточным условием сходимости ряда (2.1.10) будет условие

.

Таким образом, если будет удовлетворять трем условиям:

1)  при монотонно возрастающей или при монотонно убывающей ;

2) ;

3) ,

то

. (2.1.13)

Покажем, что выражение (2.1.13) эквивалентно условию состоятельности в среднеквадратичном. Для этого подставим вместо его выражение (2.1.5в). Тогда

. (2.1.14)

Разложим в ряд Тейлора относительно истинного значения параметра, пренебрегая членами высшего порядка малости:

.

Подставив последнее выражение в (2.1.14), получим:

.

С точностью до случайного возмущения можно считать, что , тогда

. (2.1.15)

Для монотонных функций , и, следовательно, соотношение (2.1.15) эквивалентно выражению

. (2.1.16)

Последнее соотношение совпадает с условием состоятельности оценки в среднеквадратичном. Таким образом, условие (2.1.13) эквивалентно состоятельности в среднеквадратичном с точностью до введенных упрощений (отбросили члены высшего порядка малости при разложении в ряд Тейлора и ввели допущение о монотонности ).

Подводя итог вышесказанному, можно заключить, что оценка, вычисляемая с помощью рекуррентной последовательности

(2.1.17)

будет состоятельной, если на коэффициент наложены три условия:

1)  при монотонно возрастающей , при монотонно убывающей ;

2) ;

3) .

Очевидно, можно подобрать бесконечное количество последовательностей , удовлетворяющих условиям (2.1.18). Возможным видом такой последовательности является ряд