Совмещение границ в методах одновременного картирования и локализцаии по видеопотоку, полученному с единственной камеры

СОВМЕЩЕНИЕ ГРАНИЦ в метоДАХ ОДНОВРЕМЕННОГО КАРтирования и локализцаии по видеопотоку, полученному с единственной камеры

Федеральный исследовательский центр “Информатика и управление” Российской академии наук, Российский университет дружбы народов, *****@***ru

В работе рассматриваются результаты исследований современных методов одновременного картирования и локализации по видеопотоку (vision-based Simultaneous Localization and Mapping - vSLAM), а также описывается оригинальный алгоритм vSLAM, основанный на методе совмещения границ изображения Local Bundle Adjustment.

Ключевые слова: методы одновременного картирования и локализации, компьютерное зрение, единственная камера

Введение

В настоящее время беспилотные летательные аппараты оснащаются большим набором датчиков, таких как инфракрасные и лазерные дальномеры, инерциальные датчики, системы GPS/ГЛОНАСС. Но из-за малой грузоподъемности и ограниченного запаса батареи, малые БПЛА обладают ограниченным набором датчиков, в который из-за своей компактности, низкого энергопотребления и веса входит видеодатчик (камера). Также, при навигации БПЛА в помещении, датчики GPS/ГЛОНАСС – недоступны. В связи с этим актуальной проблемой является задача одновременного картирования и локализации по видеопотоку, полученному с единственной камеры в реальном времени. 

На данный момент уже существуют методы, которые позволяют в разной степени решать поставленную проблему. Их можно разделить на 3 класса:

Методы, основанные на выделении особенностей изображений [2] Методы, использующие контрастные области для составления карты [3] Методы, использующие всю информацию изображения [4]

Методы, основанные на выделении особенностей изображений, являются самыми быстрыми, но при этом они обладают низкой точностью построенной траектории и малой детализацией полученной карты. В противопоставление им, алгоритмы, в которых используется вся информация на изображении, являются наиболее точными по построению траектории и позволяют строить высокодетализированные карты, но их работа в реальном времени на современных бортовых вычислителях без ускорения на графических процессорах – невозможна, что затрудняет использование подобных методов в задачах навигации малых БПЛА.

При использовании контрастных областей изображений, можно снизить вычислительную нагрузку с процессора, при этом сохранив точность построения траектории и высокую детализацию карты.

В качестве примера, на рисунке 1 приведено среднее время работы алгоритмов, относящихся к 1-му (MonoSLAM, PTAM), 2-му (LSD-SLAM) классам.

Сохранение точности при небольшой потери по времени исполнения алгоритма (возможность работы в реальном времени на центральном процессоре) являются основными критериями для выбора этого класса алгоритмов в качестве основы для разработки метода одновременного картирования и локализации по видеопотоку, полученному с единственной камеры LBA-vSLAM.

Основной мотивацией для разработки оригинального метода LBA-vSLAM было совмещение преимуществ методов разных классов. В качестве основы для исследований был взят метод LSD-SLAM как один из наиболее актуальных на данный момент методов, использующих контрастные области для составления карты. Для сокращения времени работы и пространства для поиска соответствий на изображениях, в LSD-SLAM были модифицированы алгоритм выделения областей и метод локализации и составления карты (используется метод совмещения границ Local Bundle Adjustment).

Рис. 1 – Среднее время работы алгоритмов MonoSLAM, PTAM и LSD-SLAM

Метод LBA-vSLAM

Для снижения нагрузки на вычислитель, предлагается ограничить изображение лишь областями, оставшимися после применения оператора Собеля [5]. Это позволит сократить количество информации, которое будет обработано алгоритмом.

Алгоритм LBA-vSLAM состоит из 5-ти основных шагов:

Калибровка камеры (получение матрицы внутренней калибровки). Получение изображения. Предобработка изображения, устранение шумов. Выделение областей Создание или обновление карты

На этапе калибровки камеры, с помощью алгоритмов, основанных на работе с известными шаблонами изображений (например: шахматная доска), необходимо получить внутренние параметры камеры, такие как: фокусные расстояния, координаты точки пересечения плоскости изображения с оптической осью и т. д.

Для повышения стабильности работы алгоритма, при поступлении нового изображения, оно проходит предварительную обработку для устранения шумов и искажений, после чего происходит выделение контрастных областей с помощью фильтра Собеля.

Если точки, лежащие в выделенных областях, не соответствуют точкам в областях предыдущих изображений, то происходит инициализация новой карты и такое изображение берется за точку отсчета при построении карты. Если соответствие найдено, то происходит добавления новых элементов в уже существующую карту.

В качестве подтверждения целесообразности предложенных модификаций, было проведено тестирование на коллекции видеоданных, полученных в закрытом помещении. Результаты тестирования показали уменьшение времени работы на 17% относительно метода LSD-SLAM при сохранении точности локализации объекта и сравнительно небольшом падении в детализации карты в 20% (при условии того, что LSD-SLAM позволяет выделять тысячи точек на видеоряде, продолжительностью менее минуты, которые потом становятся элементами карты, разница в 20% оправдана для прикладных задач).

Выводы

В ходе работы были изучены актуальные методы одновременного картирования и локализации по видеопотоку, полученному с единственной камеры, а также разработан метод LBA-vSLAM, компоненты которого были программно реализованы. Результаты тестирования показали преимущества метода LBA-vSLAM по скорости работы относительно методов того же класса при сравнимой точности построения пройденной траектории и степени детализации карты.

Дальнейшем направлением работ является исследования возможности применения алгоритмов корректировки накапливающейся ошибки и алгоритмов замыкания траектории (Loop-Closure Algorithms) [6]. Такой подход позволит распознать места, в которых уже находился БПЛА, скорректировать ошибку и перестроить карту, с учетом уточненных данных.

Работа выполнена при поддержке проекта РФФИ №15-07-07483_A

Литература

1. . Метод одновременного картирования и локализации по видеопотоку, полученному с единственной камеры LBA-vSLAM (Local Bundle Adjustment visual-based Simultaneous Localization and Mapping) // Труды Второй молодежной научной конференции “Задачи современной информатики” – М: ФИЦ ИУ РАН, 2015, с. 39-45

2. Davidson A., Reid I. Stasse O. MonoSLAM: Real-Time Single Camera SLAM // IEEE Transaction on Pattern Analysis and Machine Learning archive, 2007. T. 29, №6, C. 1052-1067

3. Klein G., Murray D. Parralel Tracking and Mapping for Small AR Workspaces// In Proc. International Symposium on Mixed and Augmented Reality, 2014. C. 157-164.

4. Glocken B., Kelly P. H.J., Davison A. J. Dense planar SLAM // In Proc. International Symposium on Mixed and Augmented Reality, 2014. C. 157-164

5. Vincent O. R., Folorunso O. A Secriptive Algorithm for Sobel Image Edge Detection // In Proc. Of Informing Science & IT Education Conference (InSITE), 2009

6. Angeli, A., Filliat, D., Doncieux, S., & Meyer, J.-A. Real-Time Visual Loop-Closure // Detection. Proceedings of the International Conference on Robotics and Automation (ICRA). 2008.

Local BUNDLE adjustment in monocular vision-based simultaneous localization and mapping problem

Bokovoy A. V.

Federal Research Centre “Informatics and Control” of Russian Academy of Science, Peoples’ Friendship University of Russia, *****@***ru

This paper presents the study’s results of state-of-the-art monocular visual-based simultaneous localization and mapping (vSLAM) methods and algorithms. Also it shows the usage of Local Bundle Adjustment algorithm in original vSLAM method.

Кеу words: simultaneous localization and mapping, computer vision, video stream, single camera