УДК 535.016, 681.2.083
Д. Ю.КРЫСИН, Е. О.ЛОГИНОВА
(Санкт-Петербургский государственный университет аэрокосмического приборостроения)
Автономное измерение высоты положения объекта вблизи водной поверхности с помощью времяпролетных PMD-камер[1]
Приводятся результаты, подтверждающие возможность применения времяпролетных камер для автономного измерения высоты положения объекта вблизи (0,2-5 м) водной поверхности.
Введение
Проблема измерения малой дальности (0,2–5 м) до водной поверхности (ВП) является актуальной при решении задач измерения уровня жидкости, определения параметров морского волнения и измерения высоты движения объекта над водной поверхностью. Высота является частным случаем дальности и измеряется в вертикальном направлении. Отсутствие соответствующих измерителей, адекватных по цене и характеристикам, может стать серьезным препятствием при разработке перспективных систем управления подвижными объектами [3, 6].
В настоящее время активно развиваются методы технического зрения, предназначенные для бесконтактного измерения пространственного положения и формы объектов. Однако значительная их часть не может быть использована для измерения малой дальности до ВП. Это объясняется особыми оптическими свойствами воды и ее поверхности. В работах [2, 3] описан метод, предназначенный для определения высоты и угловой ориентации объекта относительно невзволнованной ВП. В его основе лежит использование стереоскопической системы камер и свойства зеркального отражения ВП. В докладе предлагается иной подход, позволяющий измерять дальность и высоту при волнении ВП. Подход базируется на использовании времяпролетных PMD-камер [1, 4, 8]. Значительная часть материала, изложенного в докладе, уже опубликована в [1]. По этой причине в данной работе информация, касающаяся принципа действия PMD-камер, постановки эксперимента и обработки 3D-изображений, представлена относительно кратко. По сравнению с [1] в данном тексте рассматривается возможность получения оценки высоты при наличии информации о пространственной ориентации PMD-камеры.
Времяпролетные PMD-камеры
Времяпролетные камеры или tof-камеры (от англ. time-of-flight) являются относительно новым типом оптико-электронных устройств. Исследования, направленные на их создание, ведутся на протяжении 20 лет. Однако времяпролетные камеры в промышленном исполнении появились на рынке всего 3-4 года назад. Графики на рис. 1 иллюстрируют данную ситуацию. На них показана динамика изменения относительного числа запросов пользователей к поисковой системе Google. Рис. 1, а показывает, что до 2009 года запросы, содержащие ключевые словосочетания «Time of flight camera» и «Tof camera», практически отсутствовали. Для сравнения рис. 1, b содержит ту же информацию (изменился масштаб), а также статистику запросов с ключевым словосочетанием «mems accelerometer», которое имеет отношение к другой относительно новой области техники.
Рис.1. Графики изменения относительного числа запросов к поисковой системе Google
(получены с помощью сервиса Google Trends)
В основе принципа действия tof-камер лежит времяпролетный метод измерения дальности [8]. Суть метода заключается в измерении времени, которое требуется световому сигналу для преодоления расстояния между камерой и отражающим свет объектом. Существуют различные виды времяпролетных камер. Одним из них являются PMD-камеры, в основе которых лежит технология Photonic Mixer Device. PMD-камеры освещают сцену с помощью модулированного оптического излучения инфракрасного (ИК) диапазона с некоторой частотой модуляции. ИК-излучение отражается от объектов сцены и измеряется датчиком изображений камеры (светочувствительной матрицей). Далее камера оценивает уровни корреляции и определяет фазовый сдвиг между излученным и принятым сигналами. Частота модуляции сигнала и скорость света известны, поэтому на следующем шаге камера вычисляет пропорциональную фазовому сдвигу дальность [1, 8].
Сигнал с каждого элемента датчика изображений PMD-камеры обрабатывается независимо. В результате получается изображение, являющееся трехмерной моделью поверхности объектов, находящихся в поле зрения камеры. Первоначально изображение представляет собой матрицу, количество элементов которой совпадает с количеством чувствительных элементов датчика изображений. Элементы матрицы содержат оценки радиальной дальности (от центра камеры до поверхности объекта). Используя параметры внутреннего ориентирования камеры, элементы первичного изображения с радиальными дальностями могут быть автоматически переведены камерой в Декартову систему координат (изображение будет включать 3 матрицы). В литературе можно встретить различные названия таких изображений: карты дальности, карты глубин, 3D-изображения [4, 8]. В данной работе используется термин, приведенный последним. Несмотря на ряд ограничений PMD-камеры являются одним из наиболее перспективных средств получения 3D-изображений [1, 4, 8].
Постановка эксперимента
Для практического исследования особенностей применения PMD-камер была разработана установка (рис. 2, а), включающая промышленную времяпролетную PMD-камеру O3D201 производства компании IFM (рис. 2, б) [1, 10]; персональный компьютер (ПК); источник питания и штатив. Пример работы PMD-камеры в лаборатории представлен на рис. 2, в, г.
а б
в г
Рис. 2. Общий вид экспериментальной установки (а); вид PMD-камеры O3D201 (б); сцена в лаборатории (в); 3D-изображение сцены (двумерная интерпретация:
дальность закодирована в цвете) (г)
Был поставлен эксперимент, направленный на исследование возможности применения PMD-камер для измерения дальности до ВП. Эксперимент проводился в естественных условиях. Установка была установлена на мосту (рис. 4, а). Камера находилась на высоте 4,55 м относительно ВП. Степень волнения ВП составляла 1 балл [9].
Во время эксперимента были получены и записаны массивы 3D-изображений ВП при различных углах наклона PMD-камеры. На рис. 3, б, в, показан вид этих изображений. На представленных изображениях дальность закодирована в цвете. Черные и белые участки изображений содержат невалидные пиксели, для которых не были получены оценки дальности. Черные пиксели не получили оценки дальности из-за недостаточной мощности отраженного сигнала, белые пиксели – из-за перехода в состояние насыщения вследствие повышенной интенсивности отраженного сигнала. В нижней части изображений зафиксирована конструкция моста, которая попала в поле зрения камеры из-за недостаточной длины выносной штанги. Из рис. 3 видно, что полученные 3D-изображения ВП существенно отличаются от 3D-изображения, представленного на рис. 2. Принципиальное отличие заключается в том, что область валидных пикселей, содержащих оценки дальности, составляет всего несколько процентов от площади 3D-изображений ВП.
а б в
Рис. 3. Натурный эксперимент: Санкт-Петербург, р. Фонтанка, Английский пешеходный мост (а);
вид 3D-изображений ВП при горизонтальном положении камеры (б); вид 3D-изображений ВП при наклоне камеры (в)
Полученные 3D-изображения не являются моделью ВП, находившейся в поле зрения камеры во время съемки. Это объясняется особыми оптическими свойствами воды. Вода является оптически прозрачной средой, и на границе «воздух-вода» отражается только часть ИК-излучения. При различных условиях может наблюдаться зеркальное, диффузное и смешанное отражение света.
Характер отражения света сильно зависит от балльности волнения ВП. В естественных условиях при балльности 0–2 балла обычно преобладает зеркальное отражение света [1, 3]. При более высокой балльности появляются зоны ВП с диффузным отражением света. Вышеупомянутый эксперимент проводился при волнении ВП порядка 1 балла. Следовательно, во время эксперимента зеркальное отражение света преобладало на большей части ВП.
Расстояние между ИК-излучателем и датчиком изображений в PMD-камере не велико по сравнению с измеряемой дальностью. ИК-излучение отражается в направлении датчика только от ограниченной области ВП, на которую лучи падают под малыми углами. Значительная часть ИК-излучения отражается от ВП не в направлении PMD-камеры. Это является причиной того, что доля валидных пикселей полученных 3D-изображений ВП составляет менее 10%.
Обработка 3D-изображений и оценка высоты
На рис. 4, а-в представлены графические результаты статистической обработки массива 3D-изображений, полученного во время эксперимента при ориентации плоскости снимка, близкой к горизонтальной. Обрабатывались только валидные пиксели. Даже без применения специальных алгоритмов обработки видно, что их значения близки к измеряемому параметру 4,55 м. Область валидных пикселей стабильно присутствует на всех 3D-изображениях массива.
Рис. 4. Результаты обработки массива 3D-изображений ВП: доля валидных пикселей (а),
характеристики значений валидных пикселей (б), гистограмма распределения значений валидных пикселей (в); алгоритм вычисления оценок дальности и высоты (г)
Конечной целью обработки полученных 3D-изображений является получение оценки дальности до ВП. Под дальностью понимается длина перпендикуляра, проведенного из центра камеры к плоскости, аппроксимирующей участок ВП, попадающий в поле зрения камеры. Следует подчеркнуть, что в общем случае измеренная дальность не является оценкой высоты. Это объясняется наличием волнения ВП. Важно отметить, что плоскость снимка, как правило, не горизонтальна. Под высотой в данной работе понимается расстояние от центра камеры до подстилающей ВП, измеренное в вертикальном направлении. Поэтому измеренная дальность является оценкой высоты только в частном случае, когда отражающий участок поверхности аппроксимируется горизонтальной плоскостью. Между тем, при наличии информации об ориентации PMD-камеры относительно плоскости горизонта измеренная наклонная дальность может быть использована для получения оценки высоты. Обобщенная блок-схема алгоритма обработки 3D-изображения приведена на рис. 5, б. Этапы 1-7 алгоритма [7], связанные с оценкой дальности описаны в [1]. В данной работе рассматривается только возможность получения оценки высоты.
Информация о пространственной ориентации PMD-камеры, а точнее, плоскости снимка относительно плоскости горизонта (углы тангажа θ и крена γ) может быть получена с помощью иных навигационных измерителей, например, с помощью инерциальной навигационной системы. Для наглядности на рис. 5 приведена упрощенная геометрическая схема. На ней обозначены: S – центр PMD-камеры; SXСYСZС – прямоугольная система координат, связанная с камерой; SXGYGZG – правая горизонтальная сопровождающая система координат, оси SXG и SYG которой лежат в плоскости горизонта; W – плоская зеркально отражающая свет поверхность; ξ – угол наклона плоскости W относительно плоскости горизонта, D – измеренная дальность, H – высота, которую требуется найти. На рис. 5 и в дальнейших выкладках сделано допущение, что угол наклона отражающей поверхности постоянен.
Углы тангажа θ и крена γ камеры удобно определить следующим образом (с помощью условной записи, предложенной ) [5]:
| (1) |
Выше было сказано, что PMD-камеры обеспечивают возможность выдачи готовых 3D-изображений в различных форматах. Для прямой оценки наклонной дальности D удобно использовать представление в виде радиальной дальности, но для получения оценки высоты выгоднее использовать представление в Декартовой системе координат. Допустим, что на предыдущем этапе получена оценка координат (DXС, DYС, DZС) вектора 
в связанной системе SXСYСZС. Эти координаты могут быть переведены в координаты системы SXGYGZG:
| (2) |
где B – матрица направляющих косинусов, которая для преобразования (1) имеет следующий вид
| (3) |
. 
Рис. 5. Схема к вопросу о вычислении оценки высоты
Получив координаты (DXG, DYG, DZG) вектора в ГСК, появляется возможность вычисления оценки высоты:
| (4) |
Следует отметить, что угол ξ равен углу наклона отражающей поверхности относительно плоскости горизонта. Формула (4) еще раз подчеркивает, что только при горизонтальной отражающей поверхности (ξ = 0) оценка дальности является оценкой высоты.
Заключение
Полученные результаты подтверждают возможность применения времяпролетных PMD-камер для измерения малой дальности до водной поверхности. Показана возможность получения оценки высоты. Необходимым условием является наличие информации о пространственной ориентации PMD-камеры.
Дальнейшие исследования будут направлены на изучение особенностей функционирования PMD-камер в более широком диапазоне условий внешней среды; разработку адаптивного программно-алгоритмического обеспечения; исследование параметров точности; испытания PMD-камер в динамике на водных средствах транспорта.
ЛИТЕРАТУРА
1. Крысин Д. Ю., Небылов времяпролетных PMD-камер для определения дальности до водной поверхности // Научно-технический вестник информационных технологий, механики и оптики. – 2013. – №2. – С. 33-39.
2. Крысин обеспечение системы измерения пространственного положения объекта вблизи водной поверхности // Навигация и управление движением. Материалы докладов ХIV конференции молодых ученых «Навигация и управление движением». − СПб.: ГНЦ РФ «ЦНИИ «Электроприбор», 2012. – С. 287-293.
3. Крысин определения пространственного положения объекта вблизи водной поверхности // Научно-технический вестник информационных технологий, механики и оптики. – 2012. – № 6 (82). – С. 17–24.
4. Мамаев и методы обработки информации при автоматизации извлечения объектов из контейнера с использованием PMD-технологии: Автореф. дисс. канд. техн. наук. – ГОУ ВПО Уфимский государственный авиационный технический университет, 2010. – 17 c.
5. Матвеев В. В., Распопов построения бесплатформенных инерциальных навигационных систем. СПб.: ГНЦ РФ «ЦНИИ «Электроприбор», 2009.
6. Небылов параметров полета вблизи морской поверхности. – СПб: СПбГААП, 1994. – 308 с.
7. Цифровая обработка изображений. – М.: Техносфера, 2005. – 1072 c.
8. Piatti D., Rinaudo F. SR-4000 and CamCube3.0 Time of light (ToF) Cameras: Tests and Comparison // Remote Sensing. – 2012. – Is. 4. – P. 1069–1089.
9. Faltinsen O. M. Sea Loads on Ships and Offshore Structures. – Cambridge University Press, 1990. – 340 p.
10. Электронная документация и программное обеспечение на Интернет-сайте компании IFM [Электронный ресурс]. – URL: http://www. /ifmuk/web/dualis-download. htm, свободный (дата обращения 15.05.13).
Текст доклада согласован с научным руководителем.
Научный руководитель:
заведующий кафедрой "Компьютерного проектирования аэрокосмических измерительно-вычислительных комплексов" ГУАП,
д. т.н., проф.
[1] Научный руководитель д. т.н., проф. А. В. Небылов
