УДК 629.052.9

А. В. ПУЩИН

АО «ЦНИИАГ», г. Москва

ОЦЕНКА УСТОЙЧИВОСТИ СПЕКТРАЛЬНОЙ ЧУВСТВИТЕЛЬНОСТИ ЦИФРОВОГО ЦВЕТНОГО ФОТОАППАРАТА1

Для определения возможности использования цветных аэрофотоснимков в корреляционно-экстремальных системах навигации, необходимо оценить устойчивость цифровых цветных фотоаппаратов как датчиков изображения. В докладе приводятся результаты экспериментальной проверки гипотезы об инвариантности получаемых фотоснимков к модели применяемого фотоаппарата и к изменению фоновой обстановки объекта съемки.

Введение

В настоящее время активно развивается сегмент гражданских и коммерческих беспилотных летательных аппаратов, предназначенных, в первую очередь, для осуществления фото - и видеосъемки. В состав таких устройств входят навигационные системы, оснащенные инерциальными датчиками низкой точности и приемниками спутниковых навигационных систем. Интерес вызывает возможность коррекции навигационных систем по текущей видеоинформации с применением технологий корреляционно-экстремальных систем навигации (КЭСН), успешно себя зарекомендовавших в специальной технике.

Для функционирования алгоритмов КЭСН необходимы эталонные изображения местности [1]. Для снижения издержек и значительного упрощения процесса подготовки полетного задания, их желательно получать из открытых баз данных цветных аэрофотоснимков. Такие базы содержат снимки в формате со сжатием JPEG, сделанные при помощи многочисленных устройств, в различных условиях погоды и освещения и при неизвестных настройках съемки, поэтому возможность их использования вызывает сомнения. Необходима проверка гипотезы об инвариантности получаемого изображения к применяемому для этого фотоаппарату (ФА).

НЕ нашли? Не то? Что вы ищете?

Предлагаемый доклад посвящен экспериментальной качественной оценке влияния на получаемый снимок отличий в передаточных характеристиках ФА потребительского класса различных моделей при съемке одного и того же объекта, а также устойчивости передаточной характеристики отдельного ФА к изменению цвета подстилающей поверхности (фона) вокруг объекта съемки.

Оценка устойчивости спектральной чувствительности ФА

Модель проведения экспериментов. В данной работе был принят ряд допущений. Для моделирования естественного освещения используется светодиодная лампа IKEA Ledare непрерывного спектра со встроенным стабилизатором тока и малым коэффициентом пульсации. Отражающие свойства объекта фотосъемки, в качестве которого выбрана цветовая мишень X-Rite ColorChecker, принимаются постоянными во времени, т. к. неизменность ее свойств гарантируется производителем в течение 2 лет. В качестве выборки ФА взяты зеркальные камеры Pentax K-5, Canon 550D, Nikon D5100 и компактный ФА Sony DSC-WX350. Каждый ФА рассматривается как фоточувствительное устройство с передаточной характеристикой, являющейся функцией длины волны. Таким образом, модель измерений при фиксированных настройках съемки представляется в виде:

,

где:  – спектральная чувствительность ФА по цветовым каналам (передаточная функция  ФА, в иностранной литературе более известная как функция отклика); – отражающие свойства материала; – спектр освещенности объекта фотосъемки.

В рамках выбранной модели и исходя из принятых допущений, величины и считаются неизменными на время проведения экспериментов. Таким образом, при съемке с использованием различных ФА, но при одинаковых параметрах экспозиции и настройках, отличия в результатах считаются вызванными отличиями в функциях  этих ФА или неустойчивостью характеристики отдельно взятого ФА к применяемым в эксперименте возмущающим факторам. Мерой вариативности выступит относительное изменение цветовых координат, а критерием инвариантности изображений для алгоритма КЭСН, отличающегося робастностью, будем считать изменения менее 15-20%.

Для получения оценки был проведен ряд экспериментов, схема которых приведена на рис. 1. ФА устанавливались на штативе, объект фотосъемки и цветовой фон располагались на пюпитре, источник освещения помещался таким образом, чтобы исключить эффект зеркального отражения. В первом эксперименте менялись ФА, во втором – цветные фоны, на которых располагалась мишень. Для удобства статистической обработки и доступа к данным была введена единая нумерация цветовых полей мишени: последовательно с правого нижнего (коричневого) поля №1 построчно, заканчивая верхним левым (черным) полем №24. Также разработана процедура автоматизированного выделения отдельных участков изображений, содержащих данные поля.

Как известно (см., например, [3]), цвет может быть определен и воспроизведен по аддитивной модели RGB, состоящей из трех базовых цветов (т. н. цветовых каналов или координат) – красного, зеленого и синего (Red, Green, Blue). В этой же модели происходит регистрация цветов цифровым фотоаппаратом и хранение данных. Цветовую модель RGB можно представить в виде трехмерного пространства с ортогональными координатными осями, а цвет – как вектор в этом пространстве. Ахроматические цвета (оттенки серого) лежат на линии, соединяющей начало координат и точку максимума по всем координатам.

Абсолютные значения цветовых координат сами по себе не информативны из-за конструктивных особенностей различных фотоаппаратов и режимов их работы: информацию несут контраст, т. е. относительная разность координат у различных пикселей изображения, и цвет, т. е. соотношение координат в пределах отдельного пикселя. Ввиду этого, в рамках отдельной цветовой координаты решено рассматривать нормированные величины и относительные приращения (в %). Следует отметить, что в данной работе нормирование используется лишь для удобства анализа и сопоставления графиков, т. к. ранее в [2] было показано, что нормирование цветовых каналов цифровых фотоизображений в приложении к КЭСН может оказывать сильное влияние на работу системы.

Для определения изменений в пропорциях между координатами, удобнее перейти к другому цветовому пространству. В этом качестве выбрано коническое пространство «тон-насыщенность-значение» HSV (Hue, Saturation, Value), принцип преобразования в которое описан в [3]. Цветовой тон H задается углом, откладываемым в единичной плоскости вокруг линии ахроматических оттенков от проекции оси R в направлении проекции оси G. Удаленность от центра круга соответствует насыщенности S (чистоте) цвета. Таким образом, точка на цветовом круге соответствует точке годографа вектора в RGB.

Экспериментальная часть. В первой фазе эксперимента рассматривались снимки в формате JPEG, формируемые непосредственно фотоаппаратами. Для получения относительных значений необходимо выбрать источник опорных значений. В этом качестве выбран фотоаппарат Pentax K5, что можно обосновать как принадлежностью к полупрофессиональному классу устройств, заявляемой производителем, так и субъективными пристрастиями экспериментатора. Результаты эксперимента показали, что разность в определении нормированных цветовых координат может достигать сотен процентов для отдельных цветов. Наибольшие относительные погрешности наблюдаются в определении цветов с малым значением координаты по рассматриваемому цветовому каналу. При этом, в HSV наблюдается значительный разброс показаний и множественные коллизии регистрируемых различными фотоаппаратами цветов. На рис. 2 описанные выше явления представлены в графической форме. Предварительный анализ показывает наличие систематической составляющей ошибки.

Во второй фазе эксперимента к тем же JPEG-снимкам была применена цветокоррекция. Баланс белого принудительно устанавливался по нейтрально-серому полю мишени. Эта операция аналогична умножению значений по координатам на нормировочные коэффициенты, рассчитанные для цветовых каналов каждого фотоаппарата. Таким образом, после дополнительного нормирования значения отдельных координат и относительные их приращения остаются прежними, что нашло подтверждение в результатах эксперимента. В пространстве HSV наблюдается эффект от цветокоррекции. Регистрирование цветов стабилизировалось, разброс уменьшился, число коллизий снизилось. При этом, для нескольких некоторых цветов разброс, наоборот, увеличился.

В третьей фазе эксперимента JPEG-файлы создавались в фоторедакторе из RAW-файлов («сырых» данных с аналогово-цифровых преобразователей ФА) с изначальным выбором баланса белого по серому полю мишени. В этой фазе эксперимента отсутствуют данные от фотоаппарата Sony, т. к. в нем не предусмотрена съемка в формате RAW. Погрешность определения отдельных цветовых координат снизилась и составила, в среднем, менее 15%. Рис. 3 показывает, что в пространстве HSV наблюдается полное разделение отдельных цветов без коллизий.

Для проверки устойчивости передаточной функции отдельно взятого фотоаппарата был проведен второй эксперимент, во время которого черный фон (K) последовательно менялся на набор цветных: красный (R), зеленый (G), синий (B) и белый (W). Съемка велась в формате RAW при помощи ФА Pentax K-5. Наибольшее относительное приращение координаты наблюдается на цвете поля мишени, в котором ее значение изначально мало (аналог соотношения «сигнал/шум»). В среднем, влияние фонов составило менее 8%. В пространстве HSV наблюдается полное разделение отдельных цветов без пересечений. Наибольшее отклонения цвета наблюдается у ахроматических оттенков малой яркости. Можно заметить в центральной части цветового круга на рис. 4, как с увеличением координаты «Значение» (V, характеризует яркость) влияние фонов снижается.

Влияние цветных фонов можно объяснить механизмами, аналогичными паразитной засветке контровым светом. Многократно переотраженные от границ оптических сред (поверхностей линз и внутренних стенок объектива), лучи света от материала фона вызывают аддитивную погрешность по всему полю кадра. Важно отметить, что с увеличением времени экспонирования или светового потока источника погрешность будет нарастать пропорционально, т. к. имеет оптическую природу и не является дефектом светочувствительной матрицы.

Заключение

Исследование показало, что использование фотоснимков в формате JPEG, полученных непосредственно при помощи различных ФА, может привести к ошибкам по каналам RGB до 30-70%, что может привести к ошибкам в работе КЭСН. По предварительным данным, в цветовом пространстве HSV становится наблюдаема систематическая составляющая ошибки, характеризуемая определенным отклонением годографа векторов всех цветов для конкретного ФА. Частичное парирование ошибки становится возможным путем применения цветокоррекции по областям снимка с известными цветовыми координатами. В этом случае, ошибки по каналам RGB сокращаются до <25%, за исключением отдельных цветов, влияние которых возможно исключить последующей фильтрацией «выкалыванием» таких областей пикселей перед подачей в алгоритм КЭСН. Гипотеза об инвариантности снимков по отношению к используемому ФА признана справедливой при условии съемки в формате RAW с последующей калибровкой по областям снимка с известными цветовыми координатами.

По результатам экспериментов, функцию спектральной чувствительности ФА можно считать устойчивой во времени и от включения к включению. Съемка на различных фонах показывает, что, в среднем, влияние фона на получаемую от фотоаппарата информацию об объекте составляет <8%. Влияние это имеет оптическую природу и привносит аддитивную ошибку, в т. ч. по отдельным цветовым каналам.

Дальнейшие изыскания предполагается направить на получение количественных оценок функций отклика ФА, моделирование и компенсацию влияния погодных и сезонных условий съемки.

Работа проводилась при поддержке гранта РФФИ 15-07-06928

ЛИТЕРАТУРА

Методы и алгоритмы функционирования цветной корреляционно-экстремальной системы навигации летательных аппаратов / , , // Гироскопия и навигация. 2012. Вып. 4 (79). С. 34-49. Исследование точностных характеристик оптических КЭСНН ЛА для нормированных изображений / , , // Известия Тульского государственного университета. Технические науки. 2016. Вып. 11. Ч. 3. С. 145-153. ифровая обработка изображений в среде MATLAB. М: Техносфера, 2006. – 616с. Public Lab: Spectrometry [Электронный ресурс] // Public Lab: a DIY environmental science community.

URL: https://publiclab. org/wiki/spectrometry/ (Дата обращения: 15.04.2017).

A. V.Pushchin, JSC “Central Research Institute of Automatics & Hydraulics”, Moscow,

Stability estimation of spectral response of a digital color camera

In order to prove the concept of using color aerial photographs in correlation-extremal aircraft navigation systems it’s necessary to assess the stability of digital color cameras as image sensors. This report presents the results of experimental tests of the hypothesis of the invariance of the obtained images to the model of the applied camera and to the changes in background conditions of the survey object.

Текст доклада согласован с научным руководителем.

Научный руководитель: , кандидат технических наук, доцент кафедры ИУ-2 МГТУ им. , Россия, г. Москва.

1 Научный руководитель к. т.н. доц. каф. ИУ-2 МГТУ им.