РОБАСТНЫЕ МЕТОДЫ ВЫДЕЛЕНИЯ АНОМАЛЬНЫХ КОМПОНЕНТ ИЗ НЕОПРЕДЕЛЕННЫХ ДАННЫХ
, ,
Национальный исследовательский ядерный университет МИФИ, Москва
В настоящей работе рассматриваются методы обнаружения и выделения аномальных выбросов в исходных неопределенных данных, в том числе, в многомерных задачах восстановления функциональных зависимостей. Представленные методы основаны на робастных схемах, использующих минимаксный подход Хьюбера. Разработанные методы позволяют практически со 100% гарантией обнаруживать и выделять аномальные компоненты при обработке неопределенных данных.
Ключевые слова – робастность, аномальные выбросы, задачи восстановления, минимаксный подход Хьюбера.
При решении практических задач, связанных со сглаживанием значений функциональной зависимости
, в этих значениях кроме обычных хаотических компонент могут присутствовать компоненты, соответствующие большим выбросам [1–6].
При наличии больших выбросов в значениях функции будем использовать представление
, (1)
где
- детерминированная (сглаженная) компонента,
- хаотическая компонента,
- аномальная компонента, соответствующая большим выбросам.
Для нахождения компонент представления (1) воспользуемся нижеследующим итерационным процессом. Для удобства записи обозначим сглаженные значения
в точках
как
. На первой итерации по заданным значениям функции
найдем сглаженные значения
и с их помощью получим «исправленные» значения функции
![]()
(2)
где
(3)
- параметр Хьюбера [1,2].
Затем
принимаются вместо
и процесс (2)-(4) повторяется. Повторяя вышеуказанную процедуру необходимое число раз, получаем итерационный процесс, который сходится за конечное число итераций.
Обозначим через
полученные сглаженные значения по окончании итерационного процесса (2) – (4). Тогда относительно исходных значений функций
получим три множества индексов
(4)
Компоненты аномальных выбросов определяются согласно равенствам
(5)
а значение хаотической компоненты определяются согласно равенствам
. (6)
Для выделения детерминированной компоненты можно использовать её представление в виде разложения по базисной системы функций
(7)
где коэффициенты
определяются с помощью МНК.
Для выделения детерминированной компоненты можно использовать также метрический анализ [2-4].
В докладе представлены численные результаты обработки данных при решении ряда прикладных задач с помощью разработанных алгоритмов и основанных на них компьютерных программ, базирующихся на вышеуказанных робастных методах выделения детерминированных и хаотических компонент из многомерных данных.
Литература
1. , Математические методы обработки неопределенных данных. М.: Наука, 2006.
2. , . Метрический анализ для интерполяции и прогнозирования функций многих переменных. М.: МИФИ, Препринт № 000 – 2005, 2005.
3. Kryanev A. V., Lukin G. V., Udumyan D. K. Metric analysis and applications. Numerical Methods and Programming. Advanced Computing. Scientific Journal, 10, 2009, pp. 408-414.
4. , . Метрический анализ и обработка данных. М.: Наука, 2010.
5. Робастность в статистике. — М.: Мир, 1984.
6. , , , Робастность в статистике. Подход на основе функций влияния. — М.: Мир, 1989.


