Поиск информативного пространства признаков для поддержки решения задач распознавания the search of effective space of features to support the decision of the task of recognition

004.93'1

А. О. БАЛЫКИНА

A. O. BALYKINA

ПОИСК информативного пространства признаков для поддержки решения задач распознавания

THE SEARCH OF EFFECTIVE SPACE OF FEATURES TO SUPPORT THE DECISION OF THE TASK OF RECOGNITION

В данной статье рассмотрена проблема предварительного отбора из заданного набора признаков наиболее информативного пространства признаков для поддержки решения задачи распознавания. В качестве метрики, оценивающей информативность признакового пространства и наличие линейной разделимости образов разных классов в этом пространстве, предложена метрика отношения межклассового Евклидового расстояния к внутриклассовому. Выполнено сравнение этой метрики с расстоянием Махаланобиса.

Ключевые слова: распознавание образов, пространство признаков, информативность признаков, линейная разделимость, метрики расстояний.

In this paper we are going to consider the problem of preliminary selection the most effective space of features from the defined set of features for support the decision of the task of recognition. The metric of ratio of the mean interclass Euclidean distance in a feature space to the mean intraclass distance is suggested as the metric, which estimate the effectivity of feature space and linear partibility in this space the images, that belongs to different class. It is made the comparison this metric with generalized distance, Mahalanobis distance.

Keywords: image recognition, feature space, effectivity of features, linear partibility, metric of distances.

Рассматриваемая задача распознавания заключается в восстановлении на предъявленной экспериментальной кривой моментов появления событий и их классов в предположении, что известны, полностью либо частично, вероятностные свойства потока случайных событий и условные вероятностные свойства наблюдаемого случайного процесса для фиксированной последовательности событий. Основной проблемой задачи распознавания является построение решающего правила , которое позволило бы распознавать класс скрытого объекта в пространстве наблюдений и минимизировать число ошибок[1].

Такая задача относится ко второму типу задач распознавания [4], когда заданы классы распознаваемых объектов, типы решающих правил и необходимо определить информативное признаковое пространство.

В классической геометрической постановке задачи распозна­вания каждому классу ставится в соответствие некоторое распределение вероятностей в признаковом пространстве, область значений которых в общем случае для разных классов могут пересекаться. Для любого признакового пространства не гарантируется возмож­ность построить решающее правило, обеспечиваю­щее безошибочное распознавание объекта. Необходимо на предварительном этапе определить наиболее информативное признаковое пространство, в котором возможно построение решающего правила, минимизирующего число ошибок распознавания.

В ряде случаев понятие информативной системы признаков связывают с линейной разделимостью классов в пространстве этих признаков. Если объект описывается признаками, то он представляется как точка в k-мерном пространстве. Если классы в признаковом пространстве линейно разделимы, возможно построение решающего правила, близкого к «безошибочному», с минимальным числом ошибок распознавания.

Для определения, разделимы ли классы в пространстве признаков, необходимо решить систему линейных неравенств. Например, рассмотрим случай для двух классов.

Заданы два множества образов, принадлежащих соответственно классам и. Решение ищется в виде вектора весов , такого что для всех образов класса выполняется условие и для всех образов класса - условие [2]. Но сложность большинства алгоритмов решения системы линейных неравенств резко возрастает с увеличением числа переменных. Решение этой системы дает ответ только на вопрос о линейной разделимости, не учитывая особенности размещения классов в пространстве, компактность размещения объектов или удаленность, не дает количественную оценку информативности.

Для количественной оценки информативности используются различные метрики. Сходство и различие между классифицируемыми объектами устанавливается в зависимости от метрического расстояния между ними в признаковом пространстве. Метрика, выбираемая в качестве способа измерения информативности, должна оценивать компактность размещения объектов одного класса и удаленность объектов, принадлежащих разным классам.

В задачах кластеризации для оценки этих параметров часто используется расстояние Махалонобиса, которое вычисляется следующим образом.

, (1)

где и – вектор-столбцы значений признаков того и того классов;

– ковариационная матрица.

В случае одномерного признакового пространства для 2 классов выражение (1) приобретает вид

,

где и - векторы математических ожиданий;

- среднеквадратическое отклонение.

Очевидно, что тем больше, чем удалённее друг от друга и и компактнее распределения (меньше ). Чем больше , тем информативней пространство признаков.

Очевидный недостаток этой метрики – невозможность качественной оценки линейной разделимости, ее наличия или отсутствия.

В качестве альтернативы расстоянию Махаланобиса рассматривается отношение межклассового Евклидового расстояния к внутриклассовому Евклидовому расстоянию .

,  (2)

где  - межклассовое Евклидово расстояние;

- внутриклассовое Евклидово расстояние;

- Евклидово расстояние между точками признакового пространства, которые соответствуют образам и классов и ;

– количества образов в классе [3].

В случае одномерного признакового пространства для 2 классов выражение (2) приобретает вид

,

где и - векторы математических ожиданий;

- среднеквадратическое отклонение.

Метрика так же, как расстояние Махаланобиса, напрямую зависит от удаленности классов друг от друга и компактности размещения образов внутри классов. Чем больше, тем информативней признаковое пространство.

Но в отличие от рассмотренной выше метрики Махаланобиса, по значению можно принять решение о линейной разделимости образов в пространстве признаков. В случае , образы линейно разделимы.

Сравним количественную оценку информативности признакового пространства по расстоянию Махаланобиса и по отношению межклассового Евклидового расстояния к внутриклассовому Евклидовому расстоянию .

Задан набор признаков . Расположение образов в пространстве этих признаков представлено на рисунке 1.

Рисунок 1 – Расположение образов в пространстве признаков

По набору из 2 признаков можно составить 3 три признаковых пространства. В таблице 1 представлено сравнение оценок информативности по метрикам расстояние Махаланобиса и .

Таблица 1 - Сравнение метрик для набора признаков

Пространство признаков	Оценка информативности по расстоянию Махаланобиса	Оценка информативности по
	841	7.25
	4	0.275
	2.985	1.147

По обеим метрикам в качестве наиболее информативного признакового пространства выбрано пространство . Но оценка информативности по более наглядна.

По значению можно сделать вывод, что образы линейно разделимы в признаковых пространствах и .

Как видно по значениям, при добавлении к пространству признаков признака , не вносящего полезной информации, информативность пространства уменьшается.

При добавлении к пространству признаков информативного признака , информативность пространства увеличивается.

Рассмотрим распознавание состояний речевого сигнала «mama» (рисунок 2) с помощью системы фильтров Калмана. Возможно три состояния – состояние «пауза», «m», «a».

В качестве признакового пространства в системе используется коэффициент авторегрессии. Как видно из рисунка 3, значения признаков для классов «m» и «a» перекрываются. Оценим информативность данного признакового пространства для задачи распознавания для 3 классов - «пауза», «m», «a», - и для 2 классов - «шум» («пауза») и «полезный сигнал» («m», «a»).

Рисунок 2 – Речевой сигнал «mama»

Рисунок 3 – Признаковое пространство коэффициентов авторегрессии

Оценка информативности по и расстоянию Махаланобиса представлены в таблице 2.

Таблица 2 - Сравнение метрик для задачи распознавания речевого сигнала «mama»

Классы	Оценка информативности по расстоянию Махаланобиса	Оценка информативности по
«пауза», «m», «a»	21.603	0.83
«шум», «полезный сигнал»	2401	4.23

По обеим метрикам очевидно, что коэффициент авторегрессии в качестве признака более информативен в задаче для классов «шум»/«полезный сигнал». По метрике можно сделать вывод, что признак не подходит для распознавания 3 классов - «пауза», «m», «a». Для распознавания состояний речевого сигнала необходимо дополнить признаковое пространство информативным признаком или выбрать другой признак.

Перед решением задачи распознавания необходимо проводить предварительный отбор информативных признаков для получения наиболее информативного признакового пространства наименьшей размерности для повышения точности распознавания, упрощения решающего правила.

При отборе признаков имеется возможность, оценив информативность каждого из исходных признаков, на каждом шаге увеличивать размерность признакового пространства. Условием остановки поиска наиболее информативного признакового пространство является:

1)  Нахождение такой размерности n, что наиболее информативное пространство размерности менее информативно, чем наиболее информативное пространство размерности .

2)  Нахождение наиболее информативное пространство размерности , заданного в условии.

3)  Нахождение информативного пространства, в котором классы линейно разделимы.

СПИСОК ЛИТЕРАТУРЫ

1.  , . Скрытые марковские модели в структурном анализе сигналов. М.: Физматлит, 19с.

2.  Ту Дж. Гонсалес Р. Принципы распознавания образов. М.: Мир, 19с.

3.  , , Шепель В. Т. Семейство эффективных признаков для диагностики состояния сложных технических систем на примере подшипников трансмиссии ГТД. Труды 9-ой международной конференции «Распознавание образов и анализ изображений: новые информационные технологии». – Нижний Новгород, 2008. – Т. 2. – С. 47-51

4.  Загоруйко распознавания и их применение. М.: Советское радио, 19 с.

5.  , Мучник методы обработки эмпирических данных. – М: Наука. Главная редакция физико-матема­тической литературы, 1983.

6.  , , Косенкова методы решения задач распознавания, основанные на аппроксимационном подходе. – Владивосток: ТОИ ДВО РАН, 1992.

7.  Фу методы в распознавании образов и обучении машин. – М.: Наука, 1971.

8.  Фу методы в распознавании образов. – М.: Мир, 1977.

9.  Фильтр Калмана-Бьюси. Детерминированное наблюдение и стохастическая фильтрация – М: Наука, 1982.

10.  Мелс Дж. Идентификация систем управления – М.: Наука, 1974.

Рыбинская Государственная Авиационная Технологическая Академия имени , г. Рыбинск

Студент магистратуры по направлению 230100 «Информатика и вычислительная техника»

Телефон:

E-mail: *****@***ru