С. А. ДОЛЕНКО1, С. А. БУРИКОВ2, Т. А. ДОЛЕНКО2, А. О. ЕФИТОРОВ1, И. Г. ПЕРСИАНЦЕВ1
1НИИ ядерной физики имени МГУ им. , Москва
2Московский государственный университет им.
*****@***sinp. *****
КОМПРЕССИЯ ВХОДНЫХ ДАННЫХ
ПРИ НЕЙРОСЕТЕВОМ РЕШЕНИИ
ОБРАТНЫХ ЗАДАЧ СПЕКТРОСКОПИИ
МНОГОКОМПОНЕНТНЫХ РАСТВОРОВ
В работе представлены результаты сравнительного анализа методов компрессии входных данных при одновременном нейросетевом решении задач определения типов и концентраций растворенных неорганических солей в многокомпонентных водных растворах по спектрам комбинационного рассеяния света. Показано, что применение агрегации входных признаков позволяет снизить погрешность определения парциальных концентраций компонент в среднем на 16-18% при одновременном понижении требований к разрешению спектральной аппаратуры.
Ключевые слова: нейронные сети, обратные задачи, спектроскопия, идентификация, компрессия входных данных
Введение
Хорошо известно, что искусственные нейронные сети (НС) представляют собой класс математических алгоритмов, которые демонстрируют высокую эффективность при решении задач аппроксимации, прогнозирования, оценки, классификации и распознавания образов. НС также широко используются при решении обратных задач (ОЗ), где особую роль играют такие их свойства как обучение на примерах, высокая устойчивость к шумам, устойчивость к противоречивым данным [1, 2]. В данной работе развитие методов решения таких задач проводилось на примере комплексной ОЗ определения типов и парциальных концентраций неорганических солей в многокомпонентных водных растворах по спектрам комбинационного рассеяния света (КР).
Задача определения концентраций растворенных в воде веществ очень важна для океанологии, экологического мониторинга и контроля минеральных, технических и сточных вод. Эту задачу требуется решать в бесконтактном экспрессном режиме с приемлемой точностью.
Метод спектроскопии КР удовлетворяет этим требованиям. Принципиальная возможность использования спектров КР для диагностики растворов обусловлена высокой чувствительностью их характеристик к типу и концентрации растворенных в воде солей. В [3, 4] предлагается использовать спектры КР сложных ионов (таких, как полосы анионов NO3-, SO42-, PO43-, CO32- в районе 1000 см-1) для определения типов и концентраций солей в воде. Тип аниона может быть определен по положению соответствующей полосы, его концентрация – по её интенсивности. Но этот метод может быть использован только для анализа веществ, имеющих собственные полосы КР, т. е. для солей со сложными ионами. Авторы [5-8] разработали метод определения концентраций растворенных солей по валентной полосе КР воды. В [5, 6] по валентной полосе спектра КР воды определялась концентрация одной соли в растворе. В [7, 8] предложен и разработан метод определения парциальных концентраций нескольких солей в многокомпонентных растворах по валентной полосе КР воды. Это оказалось возможным благодаря применению НС к решению этой ОЗ.
В данной работе используется метод идентификации и определения парциальных концентраций солей, содержащих и сложные, и простые ионы. Метод был впервые предложен авторами в [9] и развит в [10-12]. Присутствие сложных ионов проще всего определяется по наличию их валентных полос в низкочастотной области спектра КР, а их концентрация может быть определена по зависимости интенсивности этих полос от концентрации, но с учетом влияния на нее других солей. Распознавание и определение концентрации простых ионов осуществляется по изменению формы и положения валентной полосы КР воды в присутствии всех солей, растворенных в воде. Одновременное определение парциальных концентраций целого ряда растворенных в воде ионов и их идентификация обеспечиваются применением НС, осуществляющей одновременный анализ обеих областей спектра КР (валентной и низкочастотной). Применение НС является целесообразным ввиду наличия в растворе сильного нелинейного взаимодействия между ионами различных типов, что ведёт к искажению концентрационных зависимостей формы спектра и не позволяет применять для определения концентраций простые линейные методы.
Из-за сложности объекта не существует адекватной физической модели, которая позволяла бы численно получить зависимость спектра КР воды от концентраций растворенных солей, особенно с учетом их нелинейных взаимодействий. Поэтому в данной работе применяется методический подход к решению обратной задачи "от эксперимента" [13]. В рамках этого подхода данные, используемые для обучения НС, получаются экспериментально, что требует проведения достаточно масштабных измерений. Для реализации этого подхода авторами были получены 8695 экспериментальных спектров для 4268 различных растворов.
Описание эксперимента
Схема экспериментальной установки приведена в [9].
Возбуждение спектров КР осуществлялось излучением аргонового лазера с длиной волны 488 нм и выходной мощностью около 450 мВт. Для подавления рассеяния на несмещенной частоте использовался интерференционный фильтр (Semrock), позволяющий приблизиться до 200 см-1 к линии лазерного возбуждения. Спектры КР водных растворов неорганических солей были получены в 90° геометрии эксперимента с помощью монохроматора и CCD-камеры (Jobin Yvon). Для каждого образца измерения проводились в двух спектральных диапазонах: см-1 и 2300–4000 см-1. Практическое разрешение КР-спектрометра при этом составляло 2 см-1, время накопления одного спектра составляло 1 с. Температура проб во время эксперимента поддерживалась равной 22,0±0,2 оС. Спектры нормировались на мощность лазерного излучения, спектро-канальную чувствительность детектора и время накопления спектра.
Объектами исследований являлись водные растворы солей, содержание которых существенно в природных водах, – NaCl, NH4Br, Li2SO4, KNO3, CsI. Концентрация каждой соли в растворах изменялась в диапазоне от 0 до 2,5 М с шагом по концентрациям 0,2 – 0,25 М.
На рис. 1 представлены спектры КР воды и водных растворов в области см-1. На рисунке видны линии, соответствующие валентным колебаниям анионов SO42- и NO3- (А). Интенсивности полос зависят от концентраций соответствующих солей (Б).
Рис. 1. Низкочастотная область спектров водных растворов разных солей
со сложными анионами:
A: 1 – дистиллированная вода; 2 – KNO3, 1 M; 3 – Li2SO4, 1 M.
B: 1 – дистиллированная вода; 2 – KNO3, 1 M; 3 – KNO3, 3 M.
Рис. 2. Валентные полосы КР воды:
A: 1 – дистиллированная вода; 2 – CsI, 2 M; 3 – NaCl, NH4Br, Li2SO4 – 0.4 M,
KNO3 и CsI – 0.6 M.
B: 1 – дистиллированная вода; 2 – CsI, 1 M; 3 – CsI, 2 M.
Из рис. 2 видно, что валентная полоса КР воды зависит от вида солей (А) и их концентраций (Б): при увеличении концентрации солей валентная полоса КР воды (2600 – 4000 см-1) смещается в сторону высоких частот, её полуширина уменьшается, интенсивность её высокочастотной части растет, а интенсивность низкочастотной части падает. Изменения положения и формы валентной полосы КР воды также зависят от вида и концентрации соли [6].
Подготовка данных
Первоначально каждая из двух полос спектра КР записывалась в диапазоне шириной в 1024 спектральных канала, в диапазоне частот 200…2300 см-1 для низкочастотной (НЧ) полосы и 2300…4000 см-1 для валентной полосы. Для дальнейшей обработки были выделены более узкие информативные диапазоны: 766 каналов в диапазоне 281…1831 см-1 для НЧ полосы (см. рис. 1) и 769 каналов в диапазоне 2700…3900 см-1 для валентной полосы (см. рис. 2).
Далее для каждой из полос по отдельности производилось вычитание горизонтального пьедестала, обусловленного рассеянием света в кювете с образцом, и производилось нормирование каждой из полос на площадь валентной полосы в указанных информативных диапазонах. Более подробно процедура подготовки данных описана в [9, 10].
Полученный массив данных (1535 признаков, 9144 примера) случайным образом разделялся на тренировочный, тестовый и экзаменационный наборы в соотношении 70:20:10. Тренировочный набор использовался для обучения сетей. Тестовый набор использовался для регулярной проверки во время обучения, чтобы остановить его, когда ошибка на тестовом наборе минимальна. Это делается для предотвращения переобучения сетей. Для независимой оценки все представленные ниже результаты приведены для экзаменационного набора. При этом результаты на всех трех наборах были близки, что свидетельствует о достаточной представительности экзаменационного набора.
Постановка задачи
Обратная задача идентификации растворенных солей и определения их концентраций решалась в настоящей работе следующим образом. На входы НС подавались все 1535 или только отобранные в соответствии с какой-либо процедурой (см. ниже) признаки. Каждый признак по отдельности перенормировался в диапазон 0…1 на всём массиве данных.
НС имела пять выходов, в соответствии с максимальным количеством компонент в растворе. При этом каждый выход соответствовал одной из рассматриваемых солей, а его желаемое значение – концентрации соответствующей соли в растворе.
Во всех описанных ниже вычислительных экспериментах для решения задачи использовался персептрон с тремя скрытыми слоями, содержавшими 40, 20 и 10 нейронов. В выходном слое использовалась линейная передаточная функция, в скрытых слоях – логистическая. Использовались следующие параметры: скорость обучения – 0.01; момент – 0.5; критерий остановки – 1000 эпох после минимума ошибки на тестовом наборе данных. Отметим, что в некоторых вычислительных экспериментах были испробованы также альтернативные алгоритмы – НС с общей регрессией и МГУА, однако во всех случаях персептрон с описанной выше архитектурой показал наилучшие результаты.
Следует отметить, что соотношение исходного количества входных признаков (1535) и количества примеров в обучающей выборке (9144*0,7=6400) является весьма неблагоприятным. Поскольку увеличение количества примеров требует постановки дополнительного эксперимента, что сопряжено с существенными сложностями, необходимо рассмотреть способы уменьшения количества используемых входных признаков – компрессии входных данных. Сравнительный анализ способов такого уменьшения и являлся предметом настоящего исследования.
Вычислительные эксперименты и их результаты
В табл. 1 приведены результаты, полученные с помощью различных способов компрессии входных данных при идентификации и определении концентраций солей только по валентной полосе спектра КР. Решение подобной задачи заслуживает отдельного рассмотрения, т. к. для регистрации только валентной полосы достаточно значительно более простой и дешёвой экспериментальной аппаратуры.
В табл. 2 приведены результаты, полученные с помощью различных способов компрессии входных данных при идентификации и определении концентраций солей по обеим полосам спектра КР.
Численные эксперименты 1 и 2 [7, 8, 14] были проведены для диагностики трехкомпонентных растворов только по валентной полосе спектра. Существенно лучшие результаты (меньшие значения ошибки), полученные в эксп. 3, 4 ([10, 11] и данная работа) в более широком диапазоне концентраций и для пятикомпонентных растворов, могут быть объяснены (помимо использования компрессии входных данных) лучшим качеством экспериментальных спектров (более низким уровнем шумов), а также их большим количеством, что позволило лучше обучить НС. Эксп. 3–9 основывались на одном и том же экспериментальном материале.
Таблица 1. Средняя абсолютная ошибка определения концентраций солей
в многокомпонентных растворах только по валентной полосе спектра КР
с помощью подхода "от эксперимента" (М, на экзаменационном наборе).
СтО – стандартное отклонение (см. ниже в тексте).
Эксп. № | 1 | 2 | 3 | 4 |
Источник | [7] | [8,14] | [10, 11] | Данная работа |
Компонент | 3 | 5 | ||
Диапазон | 0,7 М | 1 М | 2,5 М | |
Входы | 200 | 200 | 519 | 64 |
Компрессия | нет | нет | Отбор по СтО | Агрегация |
NaCl | 0,07 | 0,07 | 0,047 | 0,038 |
NH4Br | 0,06 | 0,11 | 0,029 | 0,022 |
Li2SO4 | - | - | 0,040 | 0,033 |
KNO3 | - | - | 0,046 | 0,039 |
CsI | - | - | 0,032 | 0,027 |
KI | 0,05 | 0,12 | - | - |
Таблица 2. Средняя абсолютная ошибка определения концентраций солей
в 5-компонентных растворах в диапазоне до 2,5 М по обеим полосам спектра КР
с помощью подхода "от эксперимента" (М, на экзаменационном наборе)
Эксп. № | 5 | 6 | 7 | 8 | 9 |
Источник | [10, 11] | [12] | Данная работа | ||
Входы | 704 | 314 | 1134 | 192 | |
Компрессия | Отбор по СтО | Отбор по МГУА | Отбор по КК, КЭ | Агрегация | |
Сетей | 1 | 5 | 1 | 1 | 1 |
NaCl | 0,029 | 0,029 | 0,031 | 0,028 | 0,024 |
NH4Br | 0,024 | 0,024 | 0,025 | 0,022 | 0,020 |
Li2SO4 | 0,020 | 0,019 | 0,018 | 0,019 | 0,016 |
KNO3 | 0,019 | 0,017 | 0,018 | 0,018 | 0,016 |
CsI | 0,023 | 0,023 | 0,023 | 0,024 | 0,020 |
В эксп. 3, 5, 6 использовалась селекция входных признаков по абсолютному значению стандартного отклонения (СтО) интенсивности в каждом канале, так как СтО пропорционально энтропии и, следовательно, объему информации, содержащейся в данном канале; 704 выбранных признака соответствовали каналам с СтО, превышающим некоторое пороговое значение. В эксп. 7 для определения подмножеств этого набора признаков, наиболее значимых для определения концентрации каждой соли, использовался метод группового учёта аргументов (МГУА, [15]). Объединение таких подмножеств дало 314 признаков, используемых в эксп. 7. Сравнение эксп. 5 и эксп. 7 (см. табл. 2) показывает, что в среднем уменьшение числа входных признаков не приводит к уменьшению ошибки.
В эксп. 6 использовались пять сетей, каждая с одним выходом, вместо одной сети с пятью выходами. Как следует из табл. 2, результаты эксп. 6 лучше, чем результаты эксп. 5, но незначительно.
Основным недостатком отбора признаков на основании значения СтО является то, что часть информации, содержащейся в каждом из каналов (входных признаков), может быть бесполезной для решения задачи. В эксп. 8 отбор основывался на значениях кросс-корреляции (КК) и кросс-энтропии (КЭ). По всему массиву КК некоторого выходного признака с каждым входным признаком рассчитывались среднее значение и СтО. Отбирались входные признаки, для которых КК превышал сумму среднего КК и его СтО. Эта процедура была повторена для каждого выхода и для КЭ вместо КК. Объединение полученных таким образом 10 наборов входных признаков дало 1134 входа, в число которых не вошли некоторые из 704 входных признаков, отобранных по значению СтО. Сравнение результатов эксп. 8 и эксп. 5 (см. табл. 2) показывает, что, хотя в общем ошибки уменьшаются, это уменьшение не слишком значительно.
В данной работе в качестве альтернативы отбору существенных входных признаков была избрана их агрегация, заключавшаяся в создании новых признаков путём суммирования значений интенсивности в нескольких соседних каналах спектра. Заметим, что этот подход уже показал свою эффективность при решении обратной задачи одновременного определения температуры и солёности воды по валентной полосе спектра КР воды в присутствии растворенного органического вещества [16].
Отметим, что проверялись варианты агрегации с разным количеством агрегируемых в один признак каналов – от 8 до 32. В указанном диапазоне зависимость результатов от числа агрегируемых каналов оказалась не слишком существенной; в табл.1 (эксп.4) и в табл.2 (эксп.9) приведены значения, полученные при оптимальной агрегации: по 8 каналов при работе только с валентной полосой и по 12 каналов при работе с обеими полосами спектра КР одновременно. Видно, что применение агрегации входных признаков позволило уменьшить погрешность определения концентраций солей в среднем на 18,5 % при работе с валентной полосой и на 16 % при работе с обеими полосами спектра. Это, в частности, означает, что для решения искомой задачи может быть использована значительно менее дорогостоящая аппаратура со спектральным разрешением в 8-12 раз хуже, чем та, которая была использована в данном исследовании (т. е. достаточно аппаратуры с разрешением порядка 20 см-1).
Более высокие показатели, продемонстрированные при определении концентраций сложных солей, очевидно, связаны с наличием характерных полос для каждой из данных солей в низкочастотной области спектра КР. Это подтверждается тем фактом, что при работе только с валентной полосой спектра погрешность определения концентраций этих солей существенно возрастает. Катион NH4+ имеет полосу собственного колебания, попадающую в область валентной полосы КР воды, что обеспечивает наилучшие результаты для содержащей его соли при работе только с валентной полосой, однако с исчезновением преимущества, характерного для сложных солей при работе по обеим полосам спектра КР.
Заключение
Комплексная обратная задача определения типов и парциальных концентраций солей в 5-компонентных водных растворах по спектрам КР была решена в рамках подхода “от эксперимента” с использованием двух полос спектра КР – низкочастотной ( см-1) и валентной ( см-1), а также с использованием только валентной полосы.
Был проведен сравнительный анализ различных методов компрессии входных данных. Показано, что наилучших результатов удается добиться при использовании агрегации входных признаков: средняя абсолютная ошибка определения концентрации солей составляла от 0,016 до 0,024 М в диапазоне концентраций от 0 до 2,5 М при работе с обеими полосами спектра КР, и от 0,022 до 0,039 М при работе только с валентной полосой КР. При этом для работы оказывается достаточно аппаратуры с невысоким спектральным разрешением порядка 20 см-1.
Дальнейшие исследования будут осуществляться в двух направлениях. Во-первых, среди признаков, полученных после агрегации, можно осуществить отбор с целью устранения наименее существенных признаков и дальнейшего улучшения соотношения числа примеров и числа признаков. Во-вторых, можно исследовать возможность применения квазимодельного подхода [12, 13] не в пространстве исходных, а в пространстве агрегированных входных признаков.
Данная работа выполнена при поддержке грантов РФФИ
№ -а и № -а.
Список литературы
1. Terekhov S. A. Direct, Inverse and Combined Problems in Complex Engineered System Modeling by Artificial Neural Networks// Proc. SPIE AeroSense Conference, Orlando, Florida, 21-24 April 1997. (Proc. SPIE, Vol. 3077, Paper 71.)
2. , , . Решение обратных задач оптической спектроскопии с помощью нейронных сетей. //Нейрокомпьютеры: разработка, применение, 2005. № 1–2. С. 89-97.
3. Baldwin S. F., Brown C. W. Detection of Ionic Water Pollutants by Laser Excited Raman Spectroscopy// Water Research, 1972. V. 6. Р. .
4. Rudolph, W. W., Irmer G. Raman and Infrared Spectroscopic Investigation on Aqueous Alkali Metal Phosphate Solutions and Density Functional Theory Calculations of Phosphate-Water Clusters// Applied Spectroscopy, 2007. V. 61, № 12. Р. 274A-292A.
5. Furic K., Ciglenecki I., Cosovic B. Raman Spectroscopic Study of Sodium Chloride Water Solutions// J. Molecular Structure, 2000. V. 6. Р. 225-234.
6. Dolenko T. A., Churina I. V., Fadeev V. V., Glushkov S. M. Valence Band of Liquid Water Raman Scattering: Some Peculiarities and Applications in the Diagnostics of Water Media// J. Raman Spectroscopy, 2000. V. 31. Р. 863-870.
7. Burikov S. A., Dolenko T. A., Fadeev V. V., Sugonyaev A. V. New Opportunities in the Determination of Inorganic Compounds in Water by the Method of Laser Raman Spectroscopy// Laser Physics, 2005. V. 15. № 8. Р. 1-5.
8. Burikov S. A., Dolenko T. A., Fadeev V. V. Identification of Inorganic Salts and Determination of Their Concentrations in Water Solutions from the Raman Valence Band Using Artificial Neural Networks.// Pattern Recognition and Image Analysis, 2007. V. 17. № 4. Р. 554-559.
9. , , Персианцев решение обратной задачи идентификации и определения парциальных концентраций неорганических солей в многокомпонентном водном растворе. //Нейроинформатика-2010. XII Всероссийская научно-техническая конференция. Сборник научных трудов. Ч.2. М., МИФИ, 2010. С.100-110.
10., , Персианцев адаптивных нейросетевых алгоритмов для решения задач идентификации и определения концентраций солей в многокомпонентном водном растворе по спектрам комбинационного рассеяния света. //Нейрокомпьютеры: разработка, применение, 2010. № 3. С.55-69.
11.Burikov S. A., Dolenko S. A., Dolenko T. A., Persiantsev I. G. Application of Artificial Neural Networks to Solve Problems of Identification and Determination of Concentration of Salts in Multi-Component Water Solutions by Raman spectra. //Optical Memory and Neural Networks (Information Optics), 2010. V.19. № 2. Р.140-148.
12.Dolenko S. A., Burikov S. A., Dolenko T. A., Persiantsev, I. G. Adaptive Methods for Solving Inverse Problems in Laser Raman Spectroscopy of Multi-Component Solutions. //Pattern Recognition and Image Analysis, 2012. V.22. № 4. Р.551-558.
13., , Чурина возможности в решении обратных задач лазерной спектроскопии с применением искусственных нейронных сетей. //Известия РАН. Серия физическая, 2002. Т. 66. № 8. С. .
14.Буриков С. А., Доленко T. A., Фадеев неорганических солей и определение их концентраций в многокомпонентных водных растворах по валентной полосе КР воды с помощью искусственных нейронных сетей. //Нейрокомпьютеры: разработка, применение. 2007. № 5. C. 62-72.
15.Ивахненко метод самоорганизации моделей сложных систем. Киев: Наукова думка, 1982.
16.Dolenko S., Dolenko T., Burikov S., Fadeev V., Sabirov A., Persiantsev parison of Input Data Compression Methods in Neural Network Solution of Inverse Problem in Laser Raman Spectroscopy of Natural Waters. // A. E.P. Villa et al. (Eds.): ICANN 2012, Part II. Lecture Notes in Computer Science, 2012. V.7553. Р.443-450.
