Слияние изображений на основе вейвлет-преобразования

УДК 621.397:528.914

СЛИЯНИЕ ИЗОБРАЖЕНИЙ НА ОСНОВЕ ВЕЙВЛЕТ-ПРЕОБРАЗОВАНИЯ

,

image fusion based on wavelet transformation

V. A. Trenikhin, V. G. Kobernichenko

Аннотация

Приведен обзор алгоритмов совместной обработки получаемых в системах дистанционного зондирования Земли панхроматических изображений высокого разрешения и мультиспектральных изображений низкого разрешения с получением цветного изображения высокого разрешения с использованием вейвлет-преобразования. Предложен модифицированный алгоритм, позволяющий использовать различные типы вейвлетов. Обсуждаются особенности количественной оценки результатов обработки.

Abstract

The article is devoted to describe the method for fusing panchromatic high-resolution remote sensed images with multispectral low-resolution images in order to obtain high-resolution images based on wavelet transformation. The modified algorithm of image processing performed using different wavelets is given. The characteristics of image processing quantitative estimation based on the presented method are described.

Одной из проблем комплексного использования данных дистанционного зондирования Земли (ДЗЗ), получаемых различными космическими системами является совместная обработка изображений, сформированных в разных спектральных диапазонах, с различным пространственным разрешением. Такая проблема возникает при обработке данных многоспектральных оптических систем, их объединении с СВЧ радиометрическими и радиолокационными изображениями [1, 2].

Большинство современных спутниковых систем, ведущих наблюдение за Землей, таких как Landsat, SPOT, IRS, IKONOS, QuickBird и другие, обладают возможностью получения мультиспектральных и панхроматических изображений разного пространственного разрешения (таблица 1).

Таблица 1

Разрешающая способность космических систем ДЗЗ оптического диапазона

Космическая система /датчик	Landsat ETM+	SPOT HRGI	IRS PAN/ LISS-III	IKONOS	QuickBird BHRC-60	Монитор-Э ПСА/РДСА
Пространственное разрешение (м): панхроматический режим	15	5 (2,5)	5,8	1	0,61	8
мультиспектральный режим	30, 60	10	23	4	2,5	20
Спектральный диапазон панхроматического изображения (мкм)	0.52 - 0.90	0.48 – 0.71	0.50-0.75	0.45 - 0.90	0.45 - 0.90

Для того чтобы эффективно использовать эти данные, в настоящее время разработано большое количество методов получения синтезированных мультиспектральных изображений с увеличением пространственного разрешения за счет их объединения с панхроматическим изображением высокого разрешения в одном цветном снимке. Для обозначения этой процедуры чаще всего применяется термин «слияние изображений» [3-5].

Процедура «слияния изображений» в общем случае содержит следующие этапы:

1.  Преобразование исходных изображений при помощи различных методов к виду пригодному для введения детализирующей информации изображения высокого разрешения в другие изображения.

2.  Приведение частот дискретизации преобразованных изображений друг к другу и последующая интерполяция (линейная, бикубическая, по правилу ближайшего соседа и т. д.).

3.  Введение детализирующей информации изображения высокого разрешения в яркостные компоненты преобразованных изображений.

4.  Обратное преобразование в базис RGB.

Многочисленные процедуры слияния различаются методами, применяемыми на первом этапе процедуры слияния, и, соответственно, способом введения детализирующей информации на третьем этапе, а также алгоритмом интерполяции, используемым на втором этапе.

Полученные при проведение процедуры слияния изображения, позволяют значительно увеличить возможности тематического дешифрирования. Вместе с тем эта процедура часто сопровождается проявлением эффекта нарушения цветопередачи в полученном синтезированном изображении. Для уменьшения цветовых искажений и улучшения качества результатов слияния было разработано множество разнообразных стратегий, каждая из которых предназначена для определенного метода слияния или набора исходных данных.

Проблема существенных цветовых искажений в результирующем изображении обострилась с появлением данных ДЗЗ сверхвысокого разрешения. В отличие от панхроматических изображений датчиков КА SPOT и IRS, диапазон длин волн съемочных систем спутников IKONOS, QuickBird и OrbView расширен от видимого в ближнюю инфракрасную область спектра (Таблица 1). Это различие значительно изменяет значения уровней серого таких панхроматических изображений. Поэтому методы обработки, которые хорошо зарекомендовали себя для слияния панхроматических SPOT изображений с другими мультиспектральными данными, не могут дать качественные результаты при слиянии спутниковых изображений сверхвысокого разрешения [6]. Этот фактор стимулирует необходимость всестороннего анализа многочисленных существующих и разработку новых методов слияния [7, 8].

Настоящая работа посвящена одному из методов слияния – методу на основе вейвлет-преобразования. Слияние изображений на основе вейвлет-преобразования осуществляется следующим образом (Рис. 1). Панхроматическое изображение высокого разрешения раскладывается на несколько панхроматических изображений низкого разрешения с соответствующими вейвлет-коэффициентами (пространственными деталями) для каждого уровня. Затем панхроматическое изображение низкого разрешения заменяется мультиспектральным изображением с таким же разрешением. Выполняется обратное преобразование для перевода составных и замененных частей панхроматического изображения на исходный уровень разрешения панхроматического изображения. Замена и обратная трансформация проводятся три раза, по одному разу на одно мультиспектральное изображение. Таким образом, пространственные детали с высоким разрешением вводятся в каждый мультиспектральный (MS) диапазон посредством выполнения обратного вейвлет-преобразования для каждого MS диапазона совместно с соответствующими вейвлет-коэффициентами [4].

Рис. 1. Схема синтеза на базе метода вейвлет-преобразования.

При исследовании метода слияния изображений с использованием вейвлет-преобразования оказывается, что алгоритм, представленный на Рис. 1 является пригодным для использования только с вейвлетами Хаара. Это обусловлено тем, что на каждом шаге вейвлет-преобразования с использованием вейвлетов Хаара один коэффициент усреднения изображения -ого этапа вейвлет-преобразования формируется за счет использования двух отсчетов -ого этапа. Результатом -ого вейвлет-преобразования становится уменьшенная в раз копия исходного изображения, и, именно поэтому, она может быть заменена мультиспектральным изображением низкого разрешения. В случае же использования других типов вейвлетов, каждый -ый коэффициент усреднения является линейной комбинацией отсчетов и несет в себе совокупную информацию обо всех этих отсчетах. Результатом -ого вейвлет-преобразования в этом случае становится изображение в раз меньше исходного, однако не соответствующее уменьшенной его копии, поэтому не может быть заменено мультиспектральным изображением низкого разрешения.

Для решения этой проблемы предложен модифицированный алгоритм, в котором на первом этапе частота дискретизации исходных мультиспектральных изображений увеличивается до частоты дискретизации панхроматического снимка, затем проводится прямое вейвлет-преобразование по всем изображениям с использованием необходимого типа вейвлетов. Производится замена детализирующих коэффициентов мультиспектральных снимков на детализирующие коэффициенты панхроматического изображения и проводится обратное вейвлет-преобразование для каждого мультиспектрального снимка. Модифицированный алгоритм представлен на Рис. 2.

Рис. 2. Модифицированный алгоритм метода слияния.

В настоящей работе сравнение существующих вариантов реализации метода слияния, проводились на основе обработки реальных космических снимков. Во время исследований внимание уделялось анализу характеристик разрешения и искажения цветопередачи.

При анализе космических снимков использовался фрагмент изображения промышленной зоны в панхроматическом и трех спектрозональных каналах (Рис. 3). Для оценки разрешения снимков до и после процедуры обработки проводился анализ среза. Срез изображения производился вдоль прямой линии, пересекающей изображения зданий, дорог и технических сооружений разных размеров. Исследуемые изображения, результат слияния с использованием вейвлетов Db4, а также сечение изображения приведены на Рис. 4-8.

Линия сечения

Рис. 3. Фрагмент космического снимка QuickBird. Панхроматический канал

Рис. 4. Фрагмент космического снимка
Цветное изображение

Рис. 5. Синтезированное изображение по методу Brovey

Рис. 6. Сечение панхроматического изображения (разрешение 0,61 м)

Рис. 7. Сечение изображений красного, синего и зеленого каналов (разрешение 2,4 м)

Рис. 8. Сечение цветного изображения после процедуры слияния

О нарушении цветопередачи можно судить по уровню графика сечения между пиками, соответствующими изображению ярких полос на рисунке 8. Анализ характеристик нарушения цветопередачи выявил, что использование любого типа вейвлетов вносит искажения. Однако области, относящиеся к одному типу природных образований, однозначно различаются по цвету, что позволяет успешно проводить процедуру тематического дешифрирования по синтезированному цветному изображению высокого разрешения.

При одинаковом уровне разрешения итоговых изображений, оказывается удобным оценивать проявление эффекта нарушения цветопередачи по коэффициентам корреляции между обрабатываемыми каналами. Суть методики заключается в подсчете коэффициента корреляции каналов мультиспектрального изображения между собой и панхроматическим изображением высокого разрешения до и после проведения слияния.

Подсчет коэффициента корреляции производится по известной формуле:

, (1)

где xb1(n), xb2(n) – значение яркости пикселя в точке n для изображений, полученных в частотных диапазонах b1 и b2; cov(..,..) – процедура нахождения ковариации двух случайных величин; D[..] – дисперсия случайной величины. Пример анализа, проведенного для вейвлетов Db4, представлен в таблице 2.

Таблица 2

Корреляционные коэффициенты, полученные с использованием вейвлетов Db4

ρ	Исходное изображение	Синтез, 1/4	Синтез, 1/8	Синтез, 1/16
RG	0,957	0,968	0,975	0,985
RB	0,974	0,977	0,981	0,991
GB	0,983	0,984	0,974	0,981
PR	0,372	0,5	0,767	0,988
PG	0,396	0,527	0,717	0,995
PB	0,328	0,46	0,689	0,975

Результаты анализа свидетельствуют о том, что при проведении процедуры слияния изображений коэффициент корреляции между итоговыми мультиспектральными и панхроматическим изображениями оказывается больше чем тот же коэффициент для исходных изображений. Увеличение коэффициента корреляции объясняется введением в мультиспектральные каналы информации панхроматического изображения. Все это приводит к потере части цветовой информации и уменьшению цветности итогового изображения. В тоже время, проведение процедуры слияния не приводит к переходу объектов исследуемых изображений из класса в класс и позволяет однозначно различать их по цвету. Поэтому основной причиной проявления эффекта нарушения цветопередачи можно считать внесение в итоговое изображений мощности панхроматического изображения. Сравнение результатов использования различных семейств вейвлетов показало, что наилучшие показатели достигаются при использовании вейвлетов Coif, Bior. Семейства Coif и Bior также позволяли лучше всех выделять блестящие точки. Это связано с тем, что вейвлеты этих семейств обладают большим количеством нулевых моментов.

При оценке корреляционного коэффициента для анализа эффекта нарушения цветопередачи оказалось, что этот коэффициент асимптотически устремляется к 1 при увеличении разницы между масштабами исходных панхроматического и мультиспектральных изображений. Прирост корреляционного коэффициента напрямую зависит от масштаба исходного мультиспектрального изображения. В результате анализа метода слияния на основе вейвлет-преобразования также удалось обнаружить реализации, менее подверженные эффекту нарушения цветопередачи, однако следует заметить, что для любых разновидностей метод слияния становится непригодным при использовании исходных мультиспектральных изображений с масштабом, более чем в 16 раз хуже панхроматического.

Список литературы

1.  , Смирнов совмещения данных спутниковых оптических и СВЧ сканеров для их комплексного анализа //Иссл. Земли из космоса, 2001. №2, c.45-54.

2.  Weydahl, D. J., Becquey, X., Tollefsen, bining ERS-1 SAR with optical satellite data over urban areas// Proceedings of the IEEE International Geoscience and Remote Sensing Symposium, 1995, v. 3, pp. 2161-2163.

3.  Chavez, P. S. Jr., Sides, S. C. and Anderson, J. parison of three different methods to merge multiresolution and multispectral data: Landsat TM and SPOT panchromatic //Photogrammetric Engineering and Remote Sensing, 1991, vol. 57 (3), pp.295-303.

4.  Vald Lucien. Data Fusion: Definitions and Architectures. Les Presses de l Ecole des Mines, Paris, 2002.

5.  Ranchin, T., Aiazzi, B., Alparone, L., Baronti, S., and Wald, L. Image fusion – the ARSIS concept and some successful implementation schemes // ISPRS Journal of Photogrammetry & Remote Sensing, 2003, v. 58, Issues 1-2, June, pp. 4 - 18.

6.  Zhang, Y. Problems in the fusion of commercial high-resolution satellite as well as Landsat 7 images and initial solutions. International Archives of Photogrammetry and Remote Sensing (IAPRS), Vol. 34, Part 4, "GeoSpatial Theory, Processing and Applications", Ottawa, 2002.

7.  Zhang, Y. A new merging method and its spectral and spatial effects // International Journal of Remote Sensing, 1999, vol. 20, pp. 2003-2014.

8.  Chena, C. M., Hepnerb, G. F., and Forsterb R. R. Fusion of hyperspectral and radar data using the HIS transformation to enhance urban surface features // ISPRS Journal of Photogrammetry & Remote Sensing, 2003, v. 58, pp. 19-30.