Использование принципов игрового подхода в задачах идентификации (стр. 2 )

Как видим, согласно неравенству (2.2.22), диагональные элементы этой табл.2.2.3 являются минимальными по столбцу.

Используем методику выбора гарантирующей стратегии, описанную в начале данного раздела, найдем функцию потерь , которая обеспечит минимальную гарантирующую АМКО:

; (2.2.23)

. (2.2.24)

Очевидно, справедливо неравенство:

. (2.2.25)

Таким образом, если в качестве функции потерь принимается ,

,

то при любых АМКО не будет больше .

Отметим важный факт — обязательно является максимальным диагональным элементом матрицы, т. е.

, (2.2.26)

где , .

Попытаемся теперь перестроить платежную матрицу таким образом, чтобы появилась седловая точка, т. е. в этом случае должно выполняться условие

или, учитывая (4.26), эквивалентное условие

.

Последнее условие означает, что найдется строка , для которой справедливо соотношение:

.

Пример такой матрицы приведен в табл.2.2.4.

Таблица 2.2.4

	0,6	0,9	2,7	1,8	2,7
	2,2	0,1	1,2	3,0	3,0
	0,9	2,8	0,8	2,3	2,8
	0,8	1,1	1,0	1,2	1,2
	0,6	0,1	0,8	1,2	—

V1,2 — ; V1,2 — .

Для последней задачи справедливо равенство:

. (2.2.27)

Перейдем теперь непосредственно к решению задачи идентификации при неполной информации о помехе. При изучении последующего раздела рекомендуется иллюстрировать свойства оптимальной функции потерь на табл.2.2.3 и 2.2.4.

2.2.3. Свойства оптимальной функции потерь

при неполной информации о помехе

Как правило, при неполной информации о помехе можно выделить тот или иной класс распределений (см. разд.2.2.1), которому принадлежит распределение помехи . При этом можно сформировать соответствующий класс функций потерь Q:

, где .

Как уже отмечалось в предыдущем разделе, при нахождении требуемой функции потерь используется игровой подход. Причем в качестве «платы» рассматривается АМКО.

В общем случае (см. табл.2.2.3), искомая функция потерь, гарантирующая некоторую максимальную АМКО, является решением задачи:

, (2.2.28)

где

, (2.2.29)

, . (2.2.30)

Данная задача является сложной вариационной задачей с ограничениями (2.2.30). В настоящее время не существует каких-либо разработанных методов решения поставленной задачи в явном виде. Можно представить только численное решение, которое из-за наличия двойного процесса оптимизации очень громоздко.

Существенное упрощение задачи достигается, если существует так называемая оптимальная функция потерь:

, .

Определение. Функция потерь , где , существует и называется оптимальной на классе F, если для нее выполняется условие:

, (2.2.31)

; (2.2.31а)

для " , .

Если условие (2.2.31) не выполняется ни для одной , то говорят что оптимальной функции потерь не существует.

Рассмотрим свойства оптимальной на классе функции потерь.

Свойство 1. Оптимальная на классе плотность распределения и соответствующая ей функция потерь определяют седловую точку.

Покажем это. Запишем АМКО в общем случае и при соответствии функции потерь плотности распределения (см. формулы (2.2.7), (2.2.8)):

; (2.2.32)

. (2.2.33)

Как уже неоднократно упоминалось,

. (2.2.34)

Так как (2.2.34) справедливо для любых и , то оно справедливо и для ,т. е.

. (2.2.35)

Объединяя неравенства (2.2.35) и (2.2.31), получим:

(2.2.36)

для " (; ); .

Последнее неравенство, как известно, является условием седловой точки, которое можно записать в ином виде:

, (2.2.36а)

где

, , .

Свойство 2. Оптимальная на классе плотность распределения является наименее благоприятной плотностью распределения.

Рассмотрим опять неравенство (2.2.34):

.

Как уже отмечалось, оно справедливо при любых и f, принадлежащих классу F, в том числе и при . Таким образом, можно записать:

. (2.2.37)

Объединяя неравенства (2.2.31) и (2.2.37), можно записать

. (2.2.38)

Очевидно, из последнего неравенства следует:

(2.2.39)

для " .

В развернутой форме неравенство (2.2.39) имеет вид:

. (2.2.39а)

Таким образом, оптимальной на классе плотности распределения соответствует максимальная из абсолютно оптимальных АМКО. (Если вернуться к рассмотрению последнего примера в разд.2.2.2, видно, что оптимальной плотности распределения —  — соответствует максимальный диагональный элемент).

Нетрудно убедиться, что свойство 1 является необходимым и достаточным условием существования оптимальной на классе плотности распределений F функции потерь, тогда как свойство 2 — только необходимое условие.

Свойство 2 позволяет существенно упростить задачу (2.2.28) — определения гарантирующей функции потерь. Действительно, если заранее известно, что оптимальная функция потерь существует, то на основании свойства 1

,

где, на основании свойства 2,

.

Таким образом, задача (2.2.28) эквивалентна задаче:

;

, (2.2.40)

где

. (2.2.41)

Последнюю задачу можно упростить, если принять во внимание, что для целей идентификации важна не сама АМКО, а ее диагональные элементы. Учитывая это, рационально перейти к рассмотрению следа АМКО. Тогда задача (2.2.40) примет вид

или, подставляя выражение для ,

. (2.2.42)

Переходя от задачи максимизации к более привычной задаче минимизации, окончательно получим:

, . (2.2.43)

Несмотря на существенное упрощение, задача (2.2.43) является сложной вариационной задачей с нелинейными ограничениями, которая имеет явное решение только в частных случаях, которые будут рассмотрены ниже. В общем виде эта задача может быть решена только численно путем сведения ее к многомерной задаче нелинейного математического программирования.

2.2.4. Преобразование вариационной задачи

определения функции потерь к задаче

нелинейного математического программирования

Преобразование задачи (2.2.43) к задаче многомерного нелинейного математического программирования осуществляется за счет аппроксимации непрерывной кусочно-постоянной финитной функцией . Причем, так как  — четная, можно проводить аппроксимацию только для положительных h (рис.2.2.1).

Рис.2.2.1. Преобразование непрерывной плотности распределения

к кусочно-постоянной плотности распределения

При этом интегралы в выражении (2.2.43) заменяются суммами, а производные — разностями.

Минимизируемая функция принимает вид:

. (2.2.44)

, (2.2.45)

где D — интервал разбиения.

Ограничения, накладываемые на , определяются классом F, причем, одним из ограничений обязательно является условие:

, (2.2.46)

которое представляет собой дискретный аналог условия (2.2.2).

В настоящее время разработано большое число методов поиска экстремума функции многих переменных при наличии ограничений [4].

Характерной особенностью задачи минимизации функции (2.2.44) является необходимость определения на каждом шаге итерационного процесса минимизации.

Для нахождения могут быть использованы абсолютно оптимальные рекуррентные алгоритмы (2.192), рассмотренные в предыдущей главе; с учетом кусочно-постоянного характера функции эти алгоритмы можно записать в виде:

, (2.2.47а)

, (2.2.47б)

, (2.2.47в)

, , .

Число l в формуле (2.2.47а) определяется номером интервала, в который попадает невязка на i-м шаге рекуррентного процесса идентификации:

. (2.2.47г)

Параметр i изменяется от 1 до N, где N — число измерений входов и выхода объекта, используемых при определении оптимальной плотности распределения.

Общая схема процесса нахождения оптимальной функции плотности распределения (функции потерь) может быть представлена последовательностью действий.

1. Задаем начальные приближения:

; , ;

где удовлетворяет условию (2.2.46), ; , l — номер итерации в процессе минимизация функции (2.2.44).

2. Используя рекуррентные формулы (2.2.47), находим оценку параметра при допущении, что .

3. Вычисляем значение минимизируемой функции по формуле (2.2.44):

;

.

4. Рассчитываем новое значение плотности распределения :

определяются методом поиска экстремума функции многих переменных (2.2.44) при ограничениях:

, .

5. Рассчитываем новое значение минимизируемой функции:

,

.

6. Проверяем условие окончания итерационного процесса:

, .

Если условие выполняется, то процесс поиска оптимальной плотности распределения заканчивается; в противном случае переходим к пункту 2 итерационного процесса, присвоив .

Необходимо отметить, что минимизируемая функция (2.2.44) является чаще всего многоэкстремальной, что приводит к опасности нахождения локального минимума. Это необходимо иметь в виду при решении задач подобного типа.

2.2.5. Определение функции потерь

для регрессионных объектов

Как уже отмечалось выше, задача определения функции потерь в общем случае не может быть решена в явном виде. Однако при идентификации линейного регрессионного объекта вида

(2.2.48)

эта задача может быть получена в явном виде. Это связано с тем, что нормированная информационная матрица для линейных регрессионных объектов не зависит ни от оцениваемых параметров, ни от дисперсии помехи (см. табл.1 в первой части пособия).

Учитывая это, минимизируемый функционал (2.2.43), а именно:

,

может быть заменен более простым функционалом

, , (2.2.49)

который представляет собой информацию Фишера.

Подход Хубера к определению оптимальной функции

потерь при a-загрязненных помехах

В том случае, когда помеха h имеет распределение, принадлежащее классу a-загрязненных распределений (см. классы , , в разд.2.2.1), для нахождения оптимальной плотности распределения может быть использован минимаксный подход Хубера.

Как уже отмечали выше (2.2.49), оптимальной на классе плотностью распределения для Р-объектов является плотность распределения, которой соответствует минимальная фишеровская информация.

Интересно отметить, что работы Хубера в истории развития робастных оценок были пионерскими. Ему удалось обосновать принцип минимакса, опираясь только на выводы теории вероятностей и математической статистики (в основном на центральную предельную теорему и ее следствия).

Итак, рассмотрим задачу идентификации коэффициентов линейного регрессионного объекта (2.2.48) в предположении, что распределение помех принадлежит классу a-загрязненных распределений:

, (2.2.50)

где  — некоторая известная плотность распределения,  — произвольная неизвестная плотность распределения и a — вероятность появления «выброса» с распределением , a удовлетворяет условию

.

Результат, полученный Хубером, получил название «Теорема Хубера».

Теорема Хубера. Пусть  — дважды непрерывно дифференцируемая плотность распределения, такая, что  — выпуклая вниз функция. Тогда АМКО линейных регрессионных объектов — имеет седловую точку, т. е. существует плотность распределения и функция , такие, что

. (2.2.51)

Далее, пусть и () — концы интервала (один или оба конца могут быть бесконечными), где

, , (2.2.52)

и , a, и связаны соотношением:

. (2.2.53)

Тогда плотность имеет вид:

(2.2.54)

Вначале покажем, что , построенная по закону (2.2.54), удовлетворяет всем требованиям, предъявляемым к функции плотности распределения и принадлежит классу (2.2.50). Затем докажем, что эта плотность действительно является оптимальной на классе (2.2.50).

Итак, рассмотрим вначале условия второй части теоремы. Прежде всего покажем, что удовлетворяет условию полноты интеграла (2.2.2):

.

По условию теоремы (2.2.53) выражение, стоящее в квадратных скобках, равно , и, следовательно, получаем

,

т. е. удовлетворяет условию (2.2.2).

Покажем теперь, что и , соответствующая , также удовлетворяет условию полноты интеграла, а именно:

. (2.2.55)

Используя формулы (2.2.50) и (2.2.54), найдем выражения для :

(2.2.56)

Интегрируя (2.2.56) на бесконечных пределах, нетрудно убедиться в справедливости выражения (2.2.55). Покажем, в заключение, что неотрицательная функция. Докажем это для (при доказательство аналогичное).

Рис.2.2.2. График функции –ln(f(h))

По условию теоремы  — выпуклая вниз функция. Следовательно, график этой функции лежит выше касательной, проведенной в любой точке, в том числе и в точке (рис.2.2.2).

Как известно, наклон касательной определяется производной функции в данной точке. Таким образом, учитывая условие выпуклости вниз функции , можно записать:

, (2.2.57)