РОБАСТНЫЕ МЕТОДЫ ВЫДЕЛЕНИЯ АНОМАЛЬНЫХ КОМПОНЕНТ ИЗ НЕОПРЕДЕЛЕННЫХ ДАННЫХ

, ,

Национальный исследовательский ядерный университет МИФИ, Москва

В настоящей работе рассматриваются методы обнаружения и выделения аномальных выбросов в исходных неопределенных данных, в том числе, в многомерных задачах восстановления функциональных зависимостей. Представленные методы основаны на робастных схемах, использующих минимаксный подход Хьюбера. Разработанные методы позволяют практически со 100% гарантией обнаруживать и выделять аномальные компоненты при обработке неопределенных данных.

Ключевые слова – робастность, аномальные выбросы, задачи восстановления, минимаксный подход Хьюбера.

При решении практических задач, связанных со сглаживанием значений функциональной зависимости , в этих значениях кроме обычных хаотических компонент могут присутствовать компоненты, соответствующие большим выбросам [1–6].

При наличии больших выбросов в значениях функции будем использовать представление

, (1)

где - детерминированная (сглаженная) компонента, - хаотическая компонента, - аномальная компонента, соответствующая большим выбросам.

Для нахождения компонент представления (1) воспользуемся нижеследующим итерационным процессом. Для удобства записи обозначим сглаженные значения в точках как . На первой итерации по заданным значениям функции найдем сглаженные значения и с их помощью получим «исправленные» значения функции

(2)

где

(3)

- параметр Хьюбера [1,2].

Затем принимаются вместо и процесс (2)-(4) повторяется. Повторяя вышеуказанную процедуру необходимое число раз, получаем итерационный процесс, который сходится за конечное число итераций.

НЕ нашли? Не то? Что вы ищете?

Обозначим через полученные сглаженные значения по окончании итерационного процесса (2) – (4). Тогда относительно исходных значений функций получим три множества индексов

(4)

Компоненты аномальных выбросов определяются согласно равенствам

(5)

а значение хаотической компоненты определяются согласно равенствам

. (6)

Для выделения детерминированной компоненты можно использовать её представление в виде разложения по базисной системы функций

(7)

где коэффициенты определяются с помощью МНК.

Для выделения детерминированной компоненты можно использовать также метрический анализ [2-4].

В докладе представлены численные результаты обработки данных при решении ряда прикладных задач с помощью разработанных алгоритмов и основанных на них компьютерных программ, базирующихся на вышеуказанных робастных методах выделения детерминированных и хаотических компонент из многомерных данных.

Литература

1.  , Математические методы обработки неопределенных данных. М.: Наука, 2006.

2.  , . Метрический анализ для интерполяции и прогнозирования функций многих переменных. М.: МИФИ, Препринт № 000 – 2005, 2005.

3.  Kryanev A. V., Lukin G. V., Udumyan D. K. Metric analysis and applications. Numerical Methods and Programming. Advanced Computing. Scientific Journal, 10, 2009, pp. 408-414.

4.  , . Метрический анализ и обработка данных. М.: Наука, 2010.

5.  Робастность в статистике. — М.: Мир, 1984.

6.  , , , Робастность в статистике. Подход на основе функций влияния. — М.: Мир, 1989.