Использование принципов игрового подхода в задачах идентификации (стр. 3 )

По условию теории (2.2.52)

Тогда, учитывая, что , получим:

или

Последнее неравенство эквивалентно выражению

. (2.2.58)

Согласно формуле (2.2.56)

Сравнивая последнее с неравенством (2.2.58), и так как , то неравенство (2.2.58) эквивалентно тому, что

при ,

что и требовалось показать.

Таким образом, определена «вполне корректно» соотношениями (2.2.56) в смысле требований, которым должна удовлетворять плотность распределения.

Покажем теперь, что и соответствующая ей функция потерь действительно определяют седловую точку, т. е. удовлетворяют неравенству

(2.2.59)

для " , , .

Правое неравенство выражения (2.2.59), очевидно, вытекает из свойств АМКО. Таким образом, необходимо доказать, что

(2.2.60)

для " .

Учитывая, что нормированная информационная матрица не зависит от и , последнее неравенство можно переписать следующим образом:

. (2.2.61)

Рассмотрим вначале левую часть этого неравенства. Подставим в него значение для , определяемое выражением (2.2.54), и осуществим несложные преобразования:

. (2.2.62)

Рассмотрим теперь правую часть неравенства (2.2.61). Подставляя оптимальную плотность распределения (2.2.54) и учитывая, что принадлежит классу (2.2.50), после элементарных преобразований получим:

. (2.2.63)

Так как и — плотности распределения, и их полный интеграл равен 1, то можно знаменапреобразовать к иному виду:

, (2.2.64)

где

. (2.2.64a)

Используя условия теоремы (2.2.52) и (2.2.53), а также учитывая, что , получим:

НЕ нашли? Не то? Что вы ищете?

Приводя подобные члены, окончательно будем иметь:

. (2.2.65)

Сравнивая выражение (2.2.62) и правую часть неравенства (2.2.65), можно убедиться в их полной идентичности. Следовательно,

что и требовалось доказать.

Таким образом, показали, что оптимальная на классе (2.2.50) плотность распределения существует и определяется по правилу (2.2.54).

Запишем соответствующую ей оптимальную функцию потерь:

(2.2.66)

Идентификация параметров регрессионного объекта

при a-загрязненном нормальном распределении помехи

Пусть известно, что помеха принадлежит классу — приближенно нормальных распределений:

, (2.2.67)

где — нормальное распределение;

, (2.2.68)

a — вероятность появления «выброса» с распределением .

Примерный вид a-загрязненных шумов изображен на рис.2.2.3.

Рис.2.2.3

Учитывая результат, полученный в предыдущем разделе, запишем оптимальную на классе плотность распределения:

(2.2.69)

Соответствующая функция потерь будет иметь вид:

Очевидно, записанная функция потерь будет эквивалентна более простой функции потерь:

(2.2.70)

На рис.2.2.4 приведен примерный вид функции потерь (2.2.70). Видно, что на отрезке функция потерь квадратичная (метод наименьших квадратов), а на участках , — модульная (метод наименьших модулей).

Рис.2.2.4. График оптимальной

функции потерь

Для определения , и k в формуле (2.2.70) воспользуемся условиями теоремы Хубера (2.2.52) и (2.2.53). Запишем их для приближенно нормального распределения помехи:

, (2.2.71)

или при

. (2.2.72)

Из условия (2.2.72) получаем значения и :

или . (2.2.73)

Подставим (2.2.73) в условие (2.2.71):

. (2.2.74)

Введем обозначения:

; . (2.2.75)

Тогда уравнение (2.2.74) можно преобразовать к виду

. (2.2.76)

Достоинством последней записи является то, что она не зависит от параметра .

Полученное уравнение не может быть решено аналитически и решается численно. Результаты решения, соответствующие различным a, приведены в табл.2.2.5.

Таблица 2.2.5

a	0	0,01	0,02	0,03	0,1	0,3	0,5
x	¥	2,0	1,7	1,1	1,1	0,9	0,4

Преобразуем выражение (2.2.69) и (2.2.70), используя обозначения (2.2.73):

(2.2.77)

(2.2.78)

где .

Запишем теперь рекуррентный алгоритм, соответствующий этой функции потерь для идентификации параметров линейного регрессионного объекта. Для этого воспользуемся абсолютно оптимальным рекуррентным алгоритмом, полученным в предыдущем разделе (см. формулы (2.1.74а) и (2.1.74б)), подставив в качестве оптимальную на классе плотность распределения , определяемую соотношениями (2.2.77). Произведя несложные преобразования, получим:

, (2.2.79а)

, (2.2.79б)

, , ,

где

(2.2.80)

— фишеровская информация, соответствующая оптимальной на классе плотности распределения (2.2.77).

Для определения подставим в формулу для фишеровской информации (2.1.68) значение . Тогда, производя указанные действия и выполнив несложные преобразования, получим:

Интеграл в последнем выражении легко разрешается по частям, при этом получаем:

Подставляя полученное выражение интеграла в формулу для фишеровской информации и приводя подобные члены, можно записать:

. (2.2.81)

Подставляя полученное выражение для фишеровской информации в рекуррентные соотношения (2.2.79), запишем окончательную форму рекуррентного алгоритма для оценивания параметров регрессионного объекта при условии, что на систему действует случайная помеха, имеющая приближенно нормальный закон распределения:

; (2.2.82а)

; (2.2.82б)

, , .

Параметр определяется по формуле (2.2.80).

Для инициализации рекуррентного процесса используются начальные приближения оцениваемого параметра и матрицы . Окончание рекуррентного процесса связано с прекращением нормального функционирования объекта идентификации, в частности, с получением достоверной информации от датчиков.

Для тестового примера был выбран регрессионный объект

с параметрами

; ; .

Входные воздействия , , имели нормальный закон распределения: , ; , ; , . Шум, действующий в объекте , имел приближенно нормальный закон распределения:

где — нормальный закон распределения:

а — также нормальный закон распределения

Оценка эффективности алгоритма Хубера по сравнению с обычным рекуррентным алгоритмом с квадратичной функцией потерь проводилась при следующих статистических характеристиках распределений:

1. = 0,5; a = 0,1; = 10;

2. = 0,5; a = 0,1; = 50;

3. = 0,5; a = 0,1; = 100;

4. = 0,5; a = 0,3; = 10;

5. = 0,5; a = 0,3; = 50;

6. = 0,5; a = 0,3; = 100.

На рис.2.2.5а-е представлены графики сходимости сглаженной ошибки оценки по двум алгоритмам: алгоритм с использованием теоремы Хубера и рекуррентный алгоритм, соответствующий методу наименьших квадратов.

Из графиков видно, что эффективность использования рекуррентного алгоритма с использованием теоремы Хубера возрастает с увеличением вероятности выброса a и с увеличением интенсивности выброса. При больших a и (см. рис.2.2.5) обычный рекуррентный алгоритм практически неработоспособен, тогда как алгоритм Хубера обеспечивает достаточно хорошую сходимость оценок к истинным значениям параметров.

Рис.2.2.5а. График зависимости сглаженной ошибки оценки от номера измерений при a = 0,1, = 0,5, = 10: а — линейный алгоритм; б — алгоритм Хубера

Рис.2.2.5б. График зависимости сглаженной ошибки оценки от номера измерений при a = 0,1, = 0,5, = 50: а — линейный алгоритм; б — алгоритм Хубера

Рис.2.2.5в. График зависимости сглаженной ошибки оценки от номера измерений при a = 0,1, = 0,5, = 100: а — линейный алгоритм; б — алгоритм Хубера

Рис.2.2.5г. График зависимости сглаженной ошибки оценки от номера измерений при a = 0,3, = 0,5, = 10: а — линейный алгоритм; б — алгоритм Хубера

Рис.2.2.5д. График зависимости сглаженной ошибки оценки от номера измерений при a = 0,3, = 0,5, = 50: а — линейный алгоритм; б — алгоритм Хубера

Рис.2.2.5е. График зависимости сглаженной ошибки оценки от номера измерений при a = 0,3, = 0,5, = 100: а — линейный алгоритм; б — алгоритм Хубера

Использование неравенства Коши — Буняковского

для определения оптимальной функции потерь

Одним из способов определения оптимальной на классе функции потерь для задач идентификации параметров регрессионного объекта является способ, предложенный в работе [3]. Он основан на использовании неравенства Коши — Буняковского и позволяет решить задачу минимизации фишеровской информации в аналитической форме.

Итак, воспользуемся неравенством Коши — Буняковского [7]:

, (2.2.83)

где и — любые непрерывные функции, а — удовлетворяет условию

В данном случае имеет смысл плотности распределения.

Равенство (2.2.83) достигается при условии пропорциональности функций и , т. е. при условии

, (2.2.84)

где l — любой числовой множитель.

Положим

. (2.2.85)

Подставив (2.2.85) в (2.2.83), получим:

(2.2.86)

или, преобразовав последнее неравенство:

. (2.2.87)

Последнее неравенство выполняется для любой нормированной функции, в том числе и для . Причем, если , то, согласно условию (2.2.84), неравенство (2.2.87) преобразуется в равенство

. (2.2.88)

Сравнивая (2.2.87) и (2.169в), нетрудно сообразить, что имеет смысл производной функции потерь.

Зададим некоторую функцию . Построим для этой функции функционал :

Пусть

причем, .

Зададим другую функцию , построим для нее и найдем

Соответствующая фишеровская информация

Будем перебирать функции до тех пор, пока не найдем , для которой

, (2.2.89)

где

. (2.2.90)

Покажем, что будет являться оптимальной на классе F плотностью распределения.

Для доказательства последнего утверждения предположим обратное, а именно: существует некоторая и , которая является оптимальной на классе F плотностью распределения. Тогда на основе второго свойства оптимальной на классе плотности распределения справедливо неравенство

. (2.2.91)

Кроме того, в соответствии с неравенством Коши — Буняковского (4.87), имеем

. (2.2.92)

Учитывая условие (2.2.89) и (2.2.90), можно записать

. (2.2.93)

Сравнивая (2.2.92) и (2.2.93), получим:

. (2.2.94)

Выражение (2.2.94) противоречит (2.2.91). Следовательно, исходное допущение неверно и .

Таким образом, — оптимальная на классе F плотность распределения, причем, так как выполняется условие (2.2.89), то

. (2.2.95)

Последнее условие можно записать в виде

, (2.2.96)

где А — постоянная величина, определяемая из условия:

Перепишем (2.2.96) относительно :

(2.2.97)

или

. (2.2.98)

Значение постоянной 1/А найдем из условия нормировки, а именно:

откуда находим:

. (2.2.99)

Подставляя (2.2.99) в (2.2.98) получим:

. (2.2.100)

Параметр l определяется из условия принадлежности классу F. Таким образом, если удалось подобрать , для которой выполняются условия (2.2.89) и (2.2.90), то нахождение не вызывает трудностей и осуществляется по формуле (2.2.100).

В заключение запишем кратко алгоритм решения задачи определения оптимальной плотности распределения.

1. Задаем функцию .

2. Находим минимальное для заданного класса значение функционала , для этого используем выражение:

, (2.2.101а)

или эквивалентное выражение:

. (2.2.101б)

3. Используя выражение (2.2.100), находим , причем l подбираем из условия: .

4. Рассчитываем фишеровскую информацию, соответствующую :

5. Если полученная фишеровская информация совпадает с минимальным значением , рассчитанным в пункте 2, то является оптимальной плотностью потерь и, следовательно:

В противном случае необходимо задать новую функцию .

Примеры определения оптимальной функции потерь

для регрессионных объектов с использованием неравенства

Коши — Буняковского

Пример 1. Рассмотрим случай, когда помеха h в регрессионном объекте принадлежит классу невырожденных распределений , где

Выберем в качестве функцию вида:

Найдем для этой функции минимальное значение функционала (2.2.101б). Учитывая, что , получим:

. (2.2.102)

Используя выражение (2.2.100), найдем , соответствующую , а затем проверим, будет ли фишеровская информация найденной плотности распределения совпадать с выражением (2.2.102):

: .

Нетрудно убедиться, что

. (2.2.103)

Фишеровская информация, соответствующая плотности распределения (2.2.103), будет иметь вид:

. (2.2.104)

Сравнивая (2.2.102) с (2.2.104) нетрудно заметить, что при получим полное совпадение фишеровской информации (2.2.104) с минимальным значением функционала (2.2.102). Таким образом, получаем для оптимальной на классе плотности распределения: