Г. А. ЛЕГКОВ
Киевский политехнический университет, Украина
*****@***ru
НЕЙРОПОДОБНАЯ СЕТЬ НА ОСНОВЕ
ТОПОЛОГИЧЕСКИХ ПРЕОБРАЗОВАНИЙ
ЦИФРОВЫХ ПОСЛЕДОВАТЕЛЬНОСТЕЙ
С целью повышения эффективности нейроподобных сетей разработан математический аппарат, получивший рабочее название – топологические преобразования цифровых последовательностей. Операции этого математического аппарата выполняют взаимозависимые преобразования исходных данных двух типов – позиций и значений. Эффективность данного подхода, в рамках компьютерного моделирования, подтверждена решением следующих прикладных задач: распознавание речевых команд, помехоустойчивое кодирование, аппроксимация и сжатие данных.
Введение
Для повышения эффективности нейроподобных сетей, разработан специальный математический аппарат, получивший рабочее название – топологические преобразования цифровых последовательностей. Основная особенность этого математического аппарата заключается в его операциях. Эти операции выполняют взаимозависимые преобразования исходных данных двух типов – позиций и значений. В нейроподобной сети эти операции реализованы в виде разнотипных блоков. Каждый из этих блоков, в соответствии со своим типом, выполняет преобразования данных, поступающих на его вход. Далее эти блоки объединяются в структуру в виде сети. Структуры могут отличаться как по составу используемых блоков, так и архитектурой их объединения в зависимости от решаемой задачи. К настоящему времени эффективность данного подхода подтверждена решением ряда прикладных задач, приведённых ниже. Данная работа является дальнейшим развитием ранее полученных результатов [1-2].
Принцип работы структур при распознавании образов
Принцип работы алгоритма нейроподобной сети, используемой для решения задач распознавания образов, представлен на рис. 1.
Как видно из рисунка, эта сеть состоит из двух структур топологических преобразований СТП-1 и СТП-2. Каждый образ, поступающий на вход СТП-1, представлен в виде m исходных признаков. На выходе структуры реакция на каждый образ определяется двухзначным числом из R разрядов. Композиция (рис. 1.) состоит из всех (2R) возможных номеров реакций СТП-1 и соответствующей этим номерам принадлежности тому или иному классу. Принадлежность номеров реакций каждому классу определяется последовательностью неотрицательных чисел, например, распределением вероятности. На рис. 1 показан частный случай для двух классов, когда композиция содержит две последовательности принадлежностей номеров реакций {ai ≥ 0} и {bi ≥ 0}.
Задача, решаемая СТП-1, заключается в том, чтобы обеспечить в композиции минимальное количество реакций, допускающих ненулевую принадлежность двум и более классам. В идеале, композиция не должна содержать реакции, соответствующие более чем одному классу. В свою очередь, СТП-2 решает следующие задачи:
1. Выполняет компактное [3] разбиение заданной композиции на классы, обеспечивая минимальную ошибку классификации в соответствии с их принадлежностью. При этом важным обстоятельством является то, что структура СТП-2, реализующая такое разбиение, занимает значительно меньший объём памяти в сравнении с самой композицией. Это обеспечивается за счёт того, что количество вычислений и объём занимаемой памяти операций, выполняемых СТП-2, растёт пропорционально R (размерности композиции), то есть значительно медленнее, чем 2R.
2. Обеспечивает формирование группы из R выходов СТП-1, путём подбора композиции с меньшей ошибкой классификации в СТП-2. Эта задача решается с помощью параметров, получаемых в процессе загрузки (обучения) СТП-2. Они позволяют реализовать количественный и качественный контроль выходов СТП-1, участвующих в формировании композиции [1]. Такой контроль оказывается полезным на этапе формирования СТП-1.
В силу разных причин для ряда задач, композиция, загружаемая в СТП-2, может быть не полной, то есть, содержать не полный набор номеров реакций СТП-1. Независимо от этого обстоятельства, по окончанию загрузки СТП-2 определяет правило разбиения на классы для полной композиции. В этом случае минимальная ошибка правила классификации для полной композиции будет достигнута при условии того, что архитектура СТП-2 выбрана в соответствии с индивидуальными требованиями решаемой задачи.
Нейроподобные сети на основе топологических преобразований цифровых последовательностей в рамках компьютерного моделирования подтвердили свою эффективность в решении ниже представленных прикладных задач.
1. Распознавание речевых команд
В качестве команд были выбраны десять цифр от 0 до 9. Для формирования структуры распознавания каждая команда была произнесена 750 раз двумя разными дикторами. Запись звука осуществлялась через микрофон MIC‑01A Genius в формате: (8,000 кГц; 8 бит; Моно). Все последующие преобразования выполняются структурами СТП-1 и СТП-2 (рис. 1). Размерность композиции сформированной структуры распознавания для этих команд составила R=26. Вероятность ошибки полученной структуры при распознавании команд не превышает одного процента.
В настоящее время работы в этом направлении продолжаются. Предварительные результаты показывают, что данный подход позволит добиться высокой надёжности распознавания речевых команд при наличии значительных акустических шумов.
2. Помехоустойчивое кодирование
Указанные структуры топологических преобразований позволяют реализовать помехоустойчивое кодирование передаваемой информации. На их основе программно реализован кодек (кодер и декодер), выполняющий кодирование и декодирование данных, представленных в цифровом виде. Принцип декодирования, реализуемый декодером, соответствует принципу распознавания, описанному выше и представленному на рис. 1. Отличительная особенность этого способа кодирования заключается в том, что передаваемая информация соответствует номерам классов, определяемых декодером. Началу передачи данных по каналу связи предшествует передача тестового сигнала. Тестовый сигнал используется декодером для определения принадлежности классов в композиции и последующего формирования правила классификации. В этих условиях ошибки передаваемой информации определяются ошибками декодера при классификации сигнала, принимаемого по каналу связи. Программная модель позволяет поступающий на декодер сигнал подвергать искажениям в виде шума, а также в виде межсимвольной интерференции. Испытания подтвердили эффективность данного способа помехоустойчивого кодирования для указанных искажений сигнала в канале связи.
3. Аппроксимация и сжатие данных с потерями
Топологические структуры СТП-1 и СТП-2 являются функционально самостоятельными. Их можно использовать отдельно друг от друга для решения разных задач. Так, например, структуру СТП-2 можно успешно использовать для аппроксимации дискретных последовательностей. Число элементов в аппроксимируемой последовательности определяется размерностью композиции и равно 2R. Значениями этих элементов могут быть любые действительные числа. На этапе загрузки структура формирует исходный набор значений. Складывая и вычитая значения этого набора, можно восстанавливать, с определённой точностью, значения элементов аппроксимируемой последовательности. После завершения загрузки СТП-2, подав на вход структуры порядковый номер любого элемента последовательности, на её выходе получим его приближённое значение. Погрешность аппроксимации определяется выбранной архитектурой СТП-2. Частичное представление об эффективности аппроксимации с помощью структур СТП-2 даёт табл. 1.
Таблица 1
Результаты аппроксимации случайных последовательностей
с помощью структур СТП-2
Размерность композиции: R | 8 | 10 | 12 | 14 |
Элементов последовательности: 2R | 256 | 1024 | 4096 | 16384 |
Значений в исходном наборе СТП‑2 | 128 | 512 | 1536 | 6144 |
Погрешность аппроксимации | 3.9*10-4 | 9.7*10-4 | 6.5*10-4 | 5.8*10-4 |
При составлении таблицы для аппроксимации использовались случайные последовательности, формируемые генератором случайных чисел с равномерным законом распределения в диапазоне значений от 0 до 1. При этом погрешность аппроксимации рассчитывалась как среднеарифметическая суммы абсолютных величин ошибок всех элементов последовательности.
С учётом того, что временные и ёмкостные затраты операций аппроксимации в СТП‑2 растут пропорционально размерности композиции, этим структурам можно найти применение там, где используют сжатие данных с потерями.
4. Определение простых чисел без разложения на множители
Структура прошла испытание на решении математической задачи, традиционно считающейся сложной – определении простых чисел. Для проведения этих испытаний, композиция, представленная на рис. 1, определяется следующим образом:
1) в качестве номеров реакций используется натуральный ряд чисел от 1 до 2R;
2) принадлежность классу 1, для номеров, соответствующих простому числу, приравнивается к 1, а для остальных – приравнивается к 0;
3) правило определения принадлежности классу 2, противоположно предыдущему: для номеров соответствующих простым числам, она приравнивается к 0, а остальных – к 1.
По окончанию загрузки указанной композиции структура формирует правило определения простого числа. Подав на вход СТП-2 любое целое число из диапазона от 1 до 2R, на выходе структуры будет получено решение о том, простое оно или сложное. Испытания проводились с композициями разных размерностей от 3 до 30.
5. Технические системы управления
и управляемый выбор альтернатив
Результаты исследований позволяют сделать вывод о том, что представленные структуры топологических преобразований могут использоваться в технических системах управления. При внедрении этих структур необходимо учитывать два следующих обстоятельства:
Первое. Испытания показали, что для полных композиций, независимо от числа классов и их принадлежности, всегда можно подобрать структуру СТП-2, обеспечив компактное разбиение этой композиции с минимальной ошибкой классификации. Главным при этом является то, чтобы выбранная архитектура построения СТП-2 соответствовала полной композиции, формируемой на её входе. По сути, здесь речь идёт о выборе СТП-2 с учётом индивидуальных условий решаемой задачи. Это обстоятельство необходимо учитывать в тех случаях, когда для формирования СТП-2 используется неполная композиция. Необходимо учесть, что если выбранная архитектура СТП-2 обеспечивает минимальную ошибку классификации на части композиции, это ещё не гарантирует её успешную работу на полной композиции.
Второе. В ряде задач принадлежность реакций на выходе структуры СТП-1 со временем может меняться. Это может приводить к тому, что реализуемое СТП-2 правило разбиения перестанет соответствовать разбиению композиции с минимальной ошибкой классификации. В этом случае потребуется повторная загрузка СТП-2.
Область применения структуры топологических преобразований СТП-2 имеет ещё одно важное направление. Это направление связано с поиском эффективных алгоритмов коллективного выбора альтернатив и кооперативного принятия решений [4]. Большинство из этих алгоритмов, известных на сегодня, обладают серьёзным недостатком – они допускают манипулирование результатом выбора. Проблемой защиты алгоритмов принятия коллективных решений от манипулирования занимаются многие исследователи.
В свою очередь, СТП-2 позволяет реализовать эти алгоритмы за счёт соответствующего выбора принадлежности классов. Например, для реализации правила выбора по большинству голосов единичное значение принадлежности следует присвоить тем номерам композиции, которые соответствуют большинству голосующих «ЗА». Подобное изменение принадлежности описано выше, в задаче определения простых чисел. Вместе с тем, однозначность таких алгоритмов выбора делает их уязвимыми для манипулирования. В выбранном примере известно заранее, чтобы решение было принято, большинство голосующих должны быть «ЗА». Теперь вернёмся к алгоритму выбора СТП-2. Если принятое решение после его реализации оказывается правильным или неправильным – это является объективным основанием для изменения соответствующих принадлежностей композиции и последующей перезагрузки структуры. Таким образом, по мере принятия решений, правило выбора в СТП-2 меняется. Это обстоятельство, при недоступности сведений о принадлежностях композиции, защищает его от манипулирования. Обобщив описанные выше возможности структуры топологических преобразований СТП-2, можно выделить три преимущества этого алгоритма:
1) защищённость алгоритма от манипулирования коллективным выбором альтернатив;
2) объективный количественный контроль группы лиц, участвующих в выборе. При необходимости будет предложено сократить или дополнить эту группу;
3) ранжирует (упорядочивает) участвующих в выборе альтернатив по их влиянию на результат голосования от «бесполезного» до «полезного». Это обеспечивает эффективную работу алгоритма выбора при ротации членов группы.
Выводы
Предложен и реализован новый подход в моделировании нейроподобных сетей. Структуры на основе топологических преобразований позволяют значительно уменьшить число операций и объём затрачиваемой памяти в задачах связанных с распознаванием образов, аппроксимацией, сжатием данных с потерями, и других.
Дальнейшие исследования будут направлены на разработку методики выбора наиболее эффективной структуры топологических преобразований для решения определённой прикладной задачи.
Список литературы
1. Легков. Г. А., , Шабанин для моделирования нейроподобной сети // Патент на изобретение № 000. Зарегистрирован в Государственном реестре изобретений (РОСПАТЕНТ) 27.10.1997.
2. Легков. Г. А., , Применение нейросетевых технологий в лазерной интерферометрии (нейросетевой интерполятор) // Научные вести. Научно-технический журнал НТУ КПИ №2(С.52.
3. , Гипотезы компактности в методах анализа данных // Сиб. журн. индустр. матем., 1:1 (1998), 114–126.
4. Кооперативное принятие решений: Аксиомы и модели. М.: Мир, 1991.
