РЕКОНСТРУКЦИЯ ОБЪЕМНЫХ ТРЕХМЕРНЫХ ОБЪЕКТОВ С ПЕРЕМЕННЫМ РАЗРЕШЕНИЕМ ДЛЯ СОВМЕСТНОГО ВЗАИМОДЕЙСТВИЯ
Р. Джершуше, О. Берни, Ф. Колдефи
France Telecom R&D
2, Av. Pierre Marzin 22307 Lannion Cedex France
{rachid. guerchouche, olivier. bernier, francois. coldefy}@
Целью данной статьи является представить реконструкцию объемных трехмерных объектов с переменным разрешением из небольшого числа видов для целей удаленных совместных взаимодействий. Мы, таким образом, желаем иметь возможность представить реальный объект на сайте для быстрой его оцифровки простым устройством и затем сохранить и виртуализовать его цифровую копию удаленно на других сайтах. Подход объемной реконструкции с переменным разрешением позволяет получение разных цифровых копий, соответствующих разным разрешениям реконструируемого объекта и, таким образом, прогрессивной вставки их в совместные интерфейсы. Использование переменного разрешения позволяет нам находить точную форму объектов за подходящее время и определять различные схемы взаимодействия. Показаны результаты экспериментов по трехмерной реконструкции и предложен пример схемы взаимодействия.
Введение
Появление новых технологий передачи данных, мультимедиа и сетей открывает перспективы для нового машинного зрения и приложений обработки изображений. Повышение стоимости транспортных перевозок новые экологические требования делают встречи в форме видеоконференций хорошим выходом. В последние годы, совместная работа в совместном присутствии или на расстоянии являлась предметом многих R&D лабораторий. Передача документов в совместных ситуациях является важной задачей, распределяемые документы обычно являются плоскими: изображения, видео и письменные документы. Интересной задачей является публикация трехмерной информации, такой как модели реальных объектов.
Целью данной работы является трехмерная оцифровка реальных объектов из небольшого числа видов для целей совместных взаимодействий. Мы, таким образом, желаем иметь возможность представить реальный объект на сайте для быстрой его оцифровки простым устройством и затем сохранить и виртуализовать его цифровую копию удаленно на других сайтах. Среди интерфейсов, нацеленных на такой тип приложений мы можем сослаться на интерфейс Spin, разработанный в нашей лаборатории. Spin – это интерфейс, который позволяет синхронизацию совместных приложений так же как и многопользовательское взаимодействие вокруг виртуальных объектов.
Подразумевается совмещение Spin-а с вербально-жестовым многомодальным интерфейсом MOWGLI (Многомодальным вербальным с жестами интерфейсом для больших экранов), также разработанном в нашей лаборатории. MOWGLI позволяет пользователям взаимодействовать многомодальным способом с приложениями на большом экране на расстоянии и без применения специального оборудования.
Еще одним интерфейсом, нацеленным на манипуляцию и совместной работой с трехмерными объектами, является DigiTable, который представляет собой многопользовательский распределенный интерфейс для цифровых конференций при совместном присутствии или на расстоянии.
В этом документе мы заинтересованы в части реконструкции реальных трехмерных объектов при использовании набора калиброванных изображений. Целью является найти достаточно быстрые алгоритмы реконструкции (несколько минут) для того, чтобы сделать возможным совместную работу с реконструированными объектами.
В литературе существует множество методик реконструкции трехмерных объектов, нас здесь интересуют только объемные м переменным разрешением. Мы предлагаем трехмерную реконструкцию с переменным разрешением, с использованием улучшенного критерия для оценки фотоконсистенции и видимости вокселей. Использование переменного разрешения позволяет получить точные трехмерные модели и определить совместную схему на трехмерных объектах.
Этот документ организован следующим образом: следующий раздел посвящен предлагаемому алгоритму реконструкции. Перед заключением и разделом о дальнейшей работе приводятся результаты экспериментов с кратким описанием схемы совместного взаимодействия.
Объемная реконструкция с переменным разрешением
В данном разделе рассматривается предлагаемый алгоритм для оцифровки объектов и подразумеваемые им шаги. Рис. 1 показывает разные шаги предлагаемого алгоритма.
Алгоритм начинается с грубого разрешения 
трехмерного пространства вокселей и содержит два цикла: главный (итерации по 
) и внутренний (итерации по 
). Шаг инициализации (
) позволяет найти первую модель 
.
Рис1. Различные шаги предложенного алгоритма реконструкции.
На итерации (, 
) алгоритм начинает свою работу с разрешения 
, содержащего 
вокселей, где 
– число вокселей в модели 
чтобы получить модель 
с применением следующих методов: VhE (оценка визуального каркаса) для нахождения 
. После VsE (оценка видимости вокселей, которая состоит из нахождения видов или камер, из которых воксель является видимым, принимая во внимание наложение на другие воксели и его положение в трехмерном пространстве), получаются две модели 
и 
, которые соответственно являются наборами вокселей, видимыми по крайней мере с двух камер и набором вокселей, которые видимы с одной или ни одной камеры. Затем, к вокселям применяется PcE (оценка фотоконсистенции вокселей) (воксель считается фотоконсистентным, если все его отпечатки в соответствии с расширенной проекцией вокселя на изображениях камер, с которых он виден, имеет «одинаковый» цвет в соответствие с критерием, определенным в разделе «Оценка фотоконсистенции». Фотоконсистенция оценивается для вокселей, которые видимы по крайней мере с двух камер). Применение PcE к вокселям дает модель, содержащую модель фотоконсистентных вокселей 
. VsE применяется повторно к вокселям модели 
, что, в свою очередь, дает модели 
, 
и 
.Итерации по продолжаются до итерации 
, такой как 
. Трехмерная модель получается группированием всех моделей, таких как 
. Количество основных итераций определяется пользователем в соответствии с желаемым разрешением.
В последующих разделах мы дадим краткое описание предлагаемых алгоритмов оценки видимости и фотоконсистенции.
Оценка видимости: Для оценки видимости с разных камер мы разработали методику, основанную на определении отпечатка вокселя на плоскости 
, перпендикулярному вектору, заданному двумя точками: началом отсчета системы координат камеры и центром вокселя в этой системе координат. Затем на этом плане определяется ограничивающий прямоугольник, дающий patch. Как показано на рисунке 2, ось 
патча параллельна оси 
системы координат камеры.
Рис. 2. Пример определения патча для вокселя
После создания патча для каждого вокселя в каждой системы координат камеры, список вокселей сохраняется в соответствии с их расстоянием от камеры. Считается, что воксель 
перекрывается вокселем 
, для которого определена плоскость , если проекция вокселя на «центр» этой плоскости находится внутри патча вокселя . Сложность этого алгоритма равна 
, но использование переменного разрешения позволяет достичь приемлемого времени вычислений. Оценку видимости необходимо найти для каждого вокселя для камер, из которых он видим.
Оценка фотоконсистенции: Для каждого вокселя, видимого по крайней мере из двух камер, мы используем метод, основанный на сопоставлении гистограмм для того чтобы сказать, консистентен он или нет. Проекция вокселя на плоскость изображения покрывает несколько пикселей. Для вычисления вклада всех пикселей, рассчитывается область пересечения каждого пикселя внутри ограничивающего прямоугольника отпечатка с полигоном, отражающим этот отпечаток. На рисунке 3 показана черно-белая иллюстрация этого.
|
Для каждого пикселя рассчитываем область пересечения 
, в цветовом пространстве RGB: 
. Области используются в качестве весов для расчета гистограммы каждого отпечатка. Пусть 
– отпечатки вокселя 
на 
плоскостях изображения, на которых он виден и пусть 
– нормализованная гистограмма (с размером 
, 
) в пространстве RGB 
. Пересечение двух гистограмм 
и 
задается выражением:
Чем ближе это значение к 1, тем более похожи две гистограммы. Сопоставление производится между всеми отпечатками и вычисляется среднее значение всех полученных значений 
. Использование этого метода требует предварительное задание порога, который задает фотоконсистенцию вокселя. Значения этого порога приводятся в результатах экспериментов.
Результаты экспериментов
Мы произвели реконструкцию некоторых известных объектов для того, чтобы проверить предлагаемый метод. Мы покажем здесь пример двух известных объектов: храма и динозавра. Калиброванные изображения двух объектов доступны в [7]. Мы используем 12 изображений для реконструкции и 3 изображения (которые не используются в процессе реконструкции) для оценки. Под оценкой подразумеваются ошибки повторной проекции: готовая модель растеризуется в 3 изображения с теми же углами зрения, что и у 3х оценочных изображений. Затем вычисляется попиксельная разница в RGB пространстве :
Где 
- ошибка повторной проекции для изображения 
, 
– входное изображение (эталонное), 
- выходное (растеризованное), и 
- количество пикселей в двух силуэтах на входном и выходном изображениях. Окончательное вычисленное значение ошибки 
есть среднее значение для 3х RGB каналов и 3х изображений. На рисунке 4 показан пример одного из 3х входных (слева) и выходных (справа) изображений.
Рис. 4. Пример одного из 3 входных изображений (слева) и выходных изображений (справа).
Как можно видеть, результат растеризации очень реалистичен. В этих реконструкциях мы начинали с грубого разрешения 25х25х25 и 4х основных итераций. Значения предварительно задаваемых порогов для оценки фотоконсистенции составляют 0.75 для «храма» и 0.70 для «динозавра». Значение задано как 32. В таблице 1 приведены значения ошибок повторной проекции и время вычислений (CT) для 2х объектов.
Таблица 1. Ошибки повторной проекции и время вычислений.
Обект |
| CT |
Храм | 8.33 | 8 мин 19 с |
Динозавр | 9.26 | 9 мин 52 с |
Как показано в таблице, ошибки составляют 
от пространства ошибок (
), что подтверждает точность воссозданных моделей. Оценка времени вычислений (примерно 10 минут) показывает, что предложенный алгоритм может быть использован при трехмерной реконструкции для целей совместного взаимодействия с трехмерными объектами. Действительно, в качестве примера схемы взаимодействия можно привести вставку различных цифровых копий реконструированных объектов разных разрешений в многопользовательские интерфейсы. Пользователи могут взаимодействовать в реальном времени (с периодом 
) с цифровой копией реконструированного объекта в период 
, который предшествует периоду 
. Пользователи могут начать совместную работу немедленно, без ожидания окончательной точной модели. Рис. 5 иллюстрирует предлагаемую схему взаимодействия.
Рис. 5. Упрощенная потоковая диаграмма предлагаемой схемы совместного взаимодействия.
Таблица 2 показывает значения требуемого времени 
, требуемого для реконструкции каждой из 4х моделей, соответствующих четырем разрешениям.
Таблица 2. Время вычислений, соответствующее различным разрешениям реконструкции
Модели | Храм | Динозавр |
| 0 мин 51 с | 1 мин 5 с |
| 1 мин 10 с | 1 мин 45 с |
| 2 мин 52 с | 3 мин 3 с |
| 3 мин 26 с | 3 мин 59 с |
Как мы видим, затраченное время на реконструкцию для каждой цифровой копии позволяет использовать предложенную схему взаимодействия без потери времени на ожидание.
Заключение и дальнейшая работа
В этой статье мы предложили методику реконструкции объемных трехмерных объектов с переменным разрешением для многопользовательского взаимодействия. Мы предложили два метода, один - для оценки видимости вокселей и другой – для оценки их фотоконсистенции. Мы также предложили одну схему многопользовательского взаимодействия, основанную на вставке различных цифровых копий объекта в интерфейс. Результаты экспериментов показывают, что предложенный алгоритм дает точные модели при времени вычислений, адаптированном для сценария совместного взаимодействия. В процессе дальнейшей работы, будут предложены как улучшения алгоритма реконструкции, так и другие схемы многопользовательского взаимодействия.
Литература
1. D. Pavy, A. Bouguet, P. Le Mer, S. Louis Dit Picard, L. Perron, G. Saugis, C. Chaillou, S. Degrande. Spin-3D: A VR-platform on Internet ADSL networks for synchronous collaborative work // eChallenges Vienna, Austria, October 2004.
2. S. Carbini, J. E. Viallet, L. Delphin-Poulat. MOWGLI Multimodal Oral With Gesture Large display Interface // 6th International Workshop on Gesture in Human-Computer Interaction and Simulation, pp. 89-90, Berder Island, France, 18-20 may 2005.
3. A. Pauchet, F. Coldefy, L. Lefebvre, S. Louis Dit Picard, A. Bouguet, L. Perron, J. Guerin, D. Corvaisier, M. Collobert. Mutual awareness in collocated and distant collaborative tasks using shared interfaces. // to appear in INTERACT 2007.
4. http://digitable. imag. fr/pmwiki. php
5. http://perception. inrialpes. fr/~Franco/EPVH/
6. E. Steinbach, B. Girod, P. Eisert, A. Betz. 3-D reconstruction of real-world objects using extended voxels // Proc. of ICIP, Vol. 1, pp. 569-572, 2000.
7. http://vision. middlebury. edu/mview/
