Формирование признаков для нейросетевого поиска направления перемещения объекта в сцене

Е. А. ИВАШИНА, М. О. КОРЛЯКОВА,

А. Ю. ПИЛИПЕНКО

Калужский филиал МГТУ им.

*****@***ru

ФОРМИРОВАНИЕ ПРИЗНАКОВ ДЛЯ НЕЙРОСЕТЕВОГО ПОИСКА НАПРАВЛЕНИЯ ПЕРЕМЕЩЕНИЯ ОБЪЕКТА В СЦЕНЕ

Обучение нейронных сетей для представления сложных функций в значительной мере зависит от качества входных признаков и способа описания объекта. На примерах показано влияние способа описания объекта на качество обучения. Отмечено, что анализ физической и математической модели определения параметров перемещения объекта позволяет эффективно влиять на ошибку обобщения.

Ключевые слова: нейронные сети, обучение нейронных сетей, информативность признаков

Введение

Современные автономные и полуавтономные мобильные системы нуждаются в постоянном определении своего положения относительно глобальных систем координат и в локальной среде относительно объектов-препятствий. Остановимся на особенностях задачи навигации и ориентации:

·  навигационные системы не везде обеспечивают высокую точность позиционирования объекта, а определение направления ориентации реализовано, как процесс анализа движения;

·  навигация в условиях неполной информации о направлении оси мобильной платформы и точного положения ее центра приводит к возникновению существенной неопределенности текущего состояния, а это снижает эффективность управления при движении к цели;

·  для обеспечения большей точности необходимо использовать дополнительные методы определения положения мобильного объекта и связанной с ним системы координат.

В качестве дополнительного метода ориентации в неизвестной среде можно использовать анализ движения мобильного объекта по изменению кадров видеосистемы. Поскольку анализ стереокадров необходимо проводить с высокой скоростью обработки, то в [1] предложено использовать сетереореконструкцию сцены в нейросетевом базисе. Основными преимуществами этого решения является то, что обучение по примерам позволяет избежать сложной процедуры построения математической модели объекта и переносит основную вычислительную сложность процесса на этап построения системы. Однако полностью избежать анализа объекта достаточно трудно. Кроме того, при использовании обучаемых систем возникает ряд проблем, связанных с процедурой их формирования:

·  определение системы входных признаков;

·  определение оптимального объема выборки, т. е. какое количество примеров для обучения достаточно для дальнейшей корректной работы обученной сети;

·  определение оптимальной архитектуры нейронной сети.

Качественная система нейросетевого анализа информации или управления подразумевает построение информативной модели входов, адекватно представляющей объект. Следует учитывать, что информативность входов обучаемой модели не является только информационным понятием [2], но и должна обеспечить необходимую избыточность представления объекта и существующих для него связей входов и выходов. Сложность представляемой в нейросетевом базисе модели существенным образом сказывается на качестве формируемого решения. Чем более сложную задачу нужно решить, тем сложнее будет нейронная сеть и тем больше нужно примеров для ее обучения. Особенно существенным это становится при решении задач аппроксимации, на основе которых построено большинство моделей нейросетевого управления. Таким образом, имеет смысл рассматривать весь комплекс «объект» - «модель объекта» - «пространство входных признаков» - «обучаемая модель (алгоритм)» при формировании нейросетевого решения задачи управления или обработки информации.

Формирование системы входных признаков нейронных сетей

для аппроксимации функций

Для определения размера обучающего множества классификатора используют оценку его VC-измерения [3]. Количество примеров, необходимых для обучения системы некоторого класса, пропорционально VС-измерению этого класса. Считая аппроксимацию классификацией на бесконечном множестве классов можно использовать оценки объема выборки и в задачах аппроксимации функций. На практике для хорошего обобщения достаточно, чтобы размер обучающего множества N удовлетворял следующему соотношению [3]:

,

где – общее количество свободных параметров сети; e – допустимая точность ошибки классификации; – порядок за­ключенной в скобки величины. С другой стороны, возникает вопрос в выборе допустимой точности ошибки классификации e. В любой задаче классификации желательно свести к минимуму ошибки обучения и обобщения. Однако если взять за e значение 0,00001 %, то для каждого обучаемого параметра необходимо 107 примеров, что приведет к переобучению. Таким образом, необходимо обеспечивать разумное ограничение ошибки обобщения и обучения. Рассмотрим несколько примеров построения нейросетевых систем, направленных на решение задачи аппроксимации.

Пусть задана периодическая многоэкстремальная функция у = sin(x)+1, где x = [p/2, p/2+n1*p], где – число полупериодов. Входами сети будут точки оси , а цель для каждого примера – минимум соответствующего точке периода. В точке максимума исследуемой функции происходит скачок значений целевого вектора. Обучение модели осложняется с ростом числа рассматриваемых периодов для . Проанализируем поведение сети, обученной на подобной выборке. Рассмотрим случай с пятью периодами (рис. 1).

а б

Рис. 1. , 5 периодов (а), выход сети (б)

Характер ошибки показывает, что качество решения задачи существенно различается для границ периода и его центра. Ошибка возникает из-за скачка целевого свойства в положении максимума у(х). Усложнение задачи за счет роста числа периодов приводит к ухудшению общей ошибки. Ниже приведен график целевого свойства и полученного результатов для 10-ти периодов (рис. 2).

а б

Рис. 2. Целевой и полученный выходы (а) и тестовая ошибка сети (б) для 10 периодов

С целью улучшения обучения рассмотрен вариант изменения характера распределения примеров в выборке с учетом характера ошибки, как это принято в методах типа AdaBoost [3,4]. Выборка с повышением плотности примеров возле положений максимума и минимума не позволила снизить общую ошибку обобщения модели (табл.1). Кроме того, была использована выборка с «длинным входом», т. е. в качестве одного примера рассматривается вектор из: [x-0.05, x, x+0.05].

В табл. 1 сведены тестовые ошибки рассмотренных сетей в зависимости от выборки и периода. Все сети являются многослойными персептронами, обученными по методу обратного распространения ошибки с эквивалентным объемом выборки по числу настраиваемых параметров.

Таблица 1. Тестовая ошибка в зависимости от сложности функции

и пространства признаков

Тип выборки	Число периодов	Число нейронов в скрытом слое	Тестовая ошибка
Равномерная	1	5	7,87*10-6
5	5	3, 7*10-5
10	10	0,39
Уплотненная	1	5	0,23
5	10	1,24
10	10	1,56
«длинный вход»	1	5	2,48*10-5
5	10	0,96
10	10	1,41
с удаленными участками	10	10	0,024

Ошибка уменьшилась только после удаления участков функции вблизи точек максимума (рис. 3), т. е. после существенного изменения аппроксимируемой модели. Очевидно, что ошибки очень часто носят локализованный характер, а высокая чувствительность отклика обученной нейросети к отдельным входным сигналам может говорить, что в значениях этих независимых переменных имеются выбросы, запоминание которых произошло при обучении нейросети [5]. В рассмотренном случае примеры на границе периода воспринимаются нейросетью именно как выбросы, из-за которых увеличивается ошибка обобщения всей сети.

Таким образом, на основе анализа формального примера можно отметить следующее:

·  простая обучаемая модель не может описать точки разрыва, что было ожидаемо в силу высокой сложности аппроксимируемой функции;

·  даже формирование ассоциативных машин для функции 10 периодов не позволило значительно снизить ошибку обучения;

·  как показал опыт моделирования, существенный рост качества обеспечило исключение области значительных ошибок из модели.

а б

Рис. 3. График функции у = sin(x)+1 с удаленными участками вблизи точек

максимума (а) и ошибка между целевыми и полученными выходами сети (б)

Формирование системы признаков для решения задачи поиска

параметров перемещения объекта в сцене

Рассмотрим влияние сложности модели представления реальных объектов на примере задачи анализа положения объекта по нескольким проекциям в нейросетевом базисе. Для восстановления перемещения объекта из положения 1 в положение 2 будем использовать результаты стереореконструкции сцены из положения 1 и 2 (рис. 4).

Рис. 4. Перемещение объекта в поле зрения стереопары при движении мобильной платформы

Общее формальное решение этой задачи можно описать следующим образом: , где - матрица переноса-поворота объекта сцены (или обратная матрица передвижения системы координат, связанных со стереопарой), - начальное положение точек наблюдаемой сцены, - новое положение тех же точек сцены.

Таким образом, поскольку необходимо определить 12 параметров, то полное решение задачи можно найти при анализе 4 точек сцены из 2-х положений. Реальные условия приводят к возникновению ошибок определения координат точек сцены по набору цифровых изображений, а точность будет ограничена и квадратично зависит от расстояния, на котором рассматривается объект [6]. Стереопара камер с разрешением 1000 пикселей на расстоянии 1 м. для объектов с дальностью 10 м. имеет погрешность измерения расстояния 0,04 м. или 0,4%. Это приводит к тому, что невозможно получить точные координаты и будем искать решение за счет анализа объектов с ошибками. В [7] рассмотрены подходы к решению этой задачи в нейросетевом базисе, а в [1] проведен анализ ошибок стереореконструкции в нейросетях. Исходная постановка задачи подразумевает использование массива из N точек для поиска матрицы переноса-поворота M. Получение нейросетевого решения подразумевает использование избыточного количества точек. Опыт показал, что необходимо рассматривать систему не менее 16 и не более 32 точек с координатами . Размер входного пространства признаков составляет от 96 до 192 признаков, а выходное пространство признаков содержит 12 элементов М. Обучение нейронных сетей со скрытым слоем из 12 нейронов и целевой ошибкой 5% потребует около 50000 примеров.

Можно понизить сложность за счет декомпозиции общей модели на более простые подзадачи. Переносы и повороты в пространстве независимы друг от друга. Поворот системы точек относительно центра сохраняет угловую разницу между направлением и с переносом или без него неизменными. Тогда, можно определить поворот системы точек относительно начального положения , где - матрица поворота зависит от 9 параметров и может быть определена по 3 точкам сцены. Формирование модели с 9-ю нейронами скрытого слоя осуществляется для меньшего пространства настраиваемых параметров и размер выборки составит около .

Следующий шаг – снижение влияния случайных ошибок определения координат объектов сцены. Перейдем от рассмотрения множества точек сцены в положении 1 и положении 2 к их главным направлениям распределения в пространстве. Будем проводить предобработку поступающего множества точек сцены с использованием метода главных компонент (МГК) [8]. Для каждого набора данных МГК строит вектора в направлении максимальной дисперсии данных. Поскольку при движении рассматриваем только множество точек, которое неподвижно относительно себя, то взаимное положение вектора из МГК и самих точек неизменно. Тогда, изменение положения точек сцены в координатах стереопары соответствует положениям центра масс этих точек и повороту координат, которую формирует МГК (рис. 5).

Рис. 5. Перемещение объектов сцены и ортов систем координат, полученной по МГК

Таблица 2. Ошибки различных схем представления модели

Тип модели	Тип входа	Eпов,º	Eперем, мм	Δпредобр, мм*10-4	N точек
Поворот + перенос	Точки	2,94	134,91	0	16
Поворот + перенос	Точки	2,28	128,38	0	32
Поворот	Точки	1,94	130,22	0	32
Поворот + перенос	Орты	3,49	170,22	4,25	16
Поворот + перенос	Орты	3,11	143,16	5,07	16
Поворот	Орты	3,78	480,39	5,86	16
Поворот	Орты	3,57	480,39	4,63	16

Таким образом, будем заменять множество точек, найденных в сцене, для положения 1 и положения 2. Ортами систем координат из МГК, которые переведены в исходную систему координат стереопары.

Пусть для примеров получено преобразование по МГК, тогда получены из ортов следующим образом:

,

где - координаты центра масс . Аналогично, для получим

.

Таким образом, будем рассматривать поиск относительно и и поиск относительно и . Результаты моделирования приведены в табл. 2. В табл. 3 показано влияние ошибки цифровой камеры на определение угловой ошибки при количестве точек, равном 16.

Таблица 3. Зависимость угловых ошибок от погрешностей

цифровой камеры

Eкамеры, мм	Eпов,ºорты	Eпов,º точки
0	3,57	2,23
4,1	3,168658	2,58
41	4,57931	10,71
410	22,70552	53,05

Рассматривая влияние качества определения координат можно отметить ожидаемый рост ошибок определения угла поворота и переноса. Однако для модели с ортами такой рост имеет меньшую скорость, т. е. влияние ошибки стереореконструкции координат значительно ниже чем в исходной форме модели объекта. Кроме того, применение декомпозиции задачи уменьшает размер сети. Исходная модель порождала систему более чем 190 входных признаков. Новое представление задачи позволяет за счет незначительных затрат времени на предобработку построить систему на основе менее чем 30 входных признаков. Это позволяет снизить стоимость реализации разрабатываемой системы, что играет важную роль при решении задач обработки изображений.

Заключение

Анализ результатов формирования пространства признаков с учетом сложности аналитической модели представляемого объекта показал следующее:

·  Анализ свойств объекта позволяет количество вариантов состояний, которые необходимо описать в нейросети, что позволяет существенно снизить уровень ошибок решения задачи;

·  Построение сложной модели объекта без декомпозиции задачи на более простые приводит к формированию нейронных сетей очень большого размера;

·  Устойчивость решения, сформированного в более простой форме объекта, к ошибкам значительно превосходит случай с прямой аппроксимацией исходной ситуации.

Итогом проведенной работы стало построение устойчивой к ошибкам нейросетевой модели определения перемещения объекта в сцене с числом настраиваемых параметров более чем в 3 раза меньшим, чем в исходной форме сети.

Дальнейшая работа будет направлена на включение этапа предобработки данных и определения параметров переноса и поворота в единую нейронную сеть обработки кадров стереопары.

Список литературы

1.  , Корлякова задачи стереореконструкции в нейросетевом базисе // XIV Всероссийская научно-техническая конференция «Нейроинформатика-2012»: Сборник научных трудов. В 3-х частях. Ч.1. М.: НИЯУ МИФИ, 2012. С. 160-169.

2.  , , Выбор переменных для наиболее качественной классификации объектов. XIII Всероссийская научно-техническая конференция «Нейроинформатика-2011»: Сборник научных трудов. В 3-х частях. М.: НИЯУ МИФИ, 2011.

3.  Нейронные сети: полный курс, 2-е изд.: Пер. с англ. М.: . Д.Вильямс», 2006.

4.  , , Половинкин реализация алгоритма градиентного бустинга деревьев решений. // Вестник Нижегородского университета им. , 2011. №1.

5.  , Высокая чувствительность отклика нейроклассификатора к колебаниям входов может индицировать наличие выбросов в данных, Материалы XIII Всеросс. семинара «Нейроинформатика и её приложения», Красноярск, 2004. С. 158-162.

6.  Цифровая обработка изображений. М.: Техносфера, 2007.

7.  , , Пилипенко задачи поиска положения мобильного объекта в нейросетевом базисе // Нейроинформатика-2012. XIV Всероссийская научно-техническая конференция. Сборник научных трудов. Ч. 3. М.: НИЯУ МИФИ, 2012. С. 11-19.

8.  Gorban A., Kegl B., Wunsch D., Zinovyev A.(Eds.), Principal Manifolds for Data Visualisation and Dimension Reduction, LNCSE 58, Springer, Berlin – Heidelberg – New York, 2007.