Описание не итерационного алгоритма обучения искусственного нейрона

1, 1, 2, 1, 3

1Казахский национальный технический университет имени ,

Казахстан, г. Алматы

2 научно-исследовательский электротехнический институт»,

Россия, г. Пенза

3Пензенский государственный университет,

Россия, г. Пенза

*****@***ru

Описание не итерационного алгоритма обучения искусственного нейрона

УДК 004

Аннотация. В статье рассматривается вопросы обучения сети искусственных нейронов. Приводится описание не итерационного алгоритма обучения искусственного нейрона.

Ключевые слова: биометрия, искусственный нейрон, биометрические приложения, не итерационный алгоритм, обучение нейрона

Summary. The article considers the issues of training the network of artificial neurons. The description of the non - iterative algorithm of artificial neuron learning.

Проблема обучения сети искусственных нейронов в биометрических приложениях состоит в том, что этот процесс должен быть полностью автоматическим, т. е. человек-оператор не должен участвовать в нем. Поэтому необходимо иметь абсолютно устойчивый автомат обучения, который гарантированно мог бы обучить нейрон. Российский национальный стандарт [1] рекомендует использовать не итерационные алгоритмы обучения. В данных алгоритмах нет необходимости вычислять частные производные и полностью размыкается петля обратной связи по ним. Этот тип алгоритмов построен на «угадывании» ожидаемого решения через угадывание наиболее вероятных знаков при весовых коэффициентах и предсказании значений весовых коэффициентов [2].

Естественно, что при этом происходит определенное снижение качества обучения (нет оптимизации качества), однако возникает эффект высокой устойчивости вычислений. При этом устойчивость вычислений будет тем выше, чем больше входов у обучаемого нейрона. В результате вместо «проклятия» размерности появляется противоположный эффект «благодати» высоких и сверхвысоких размерностей [2 – 6].

Автомат угадывания знака весовых коэффициентов нейрона может быть построен на гипотезе вырождения сумматора до одного входа. Перед этим автомат обучения должен принять решение, в какую сторону он будет выталкивать образ «Свой» (вправо – R или влево – L). Будем считать, что нас интересует R-выталкивание образа «Свой» из множества образов «все Чужие». Данная ситуация отображена на рисунке 1 стрелкой.

Рисунок 1 – Решение о R выталкивании образов «Свой» из центра множества

образов «все Чужие»

Из данных, приведенных на рисунке 1 видно, что заведомый отказ от решения многомерной задачи (у сумматора нейрона имеется только один вход) делает задачу выбора знака весового коэффициента одного входа тривиальной. Так, в верхней части рисунка знак весового коэффициента должен быть положительным, потому что математическое ожидание – E(v1) положительно. В нижней части рисунка отображена обратная ситуация, математическое ожидание – E(v2) отрицательно. Для эффективного R-выталкивания образа «Свой» необходимо сменить знак весового коэффициента второго входа сумматора. В итоге для R выталкивания получается некоторая процедура предсказания знака весовых коэффициентов у обучаемого нейрона:

(1)

Очевидно, что если задаться обратной задачей выталкивания образа «Свой» в левую сторону из множества образов «все Чужие», то получится инверсия R правила (1):

(2)

На самом деле сложно точно указать тот или иной знак весового коэффициента обучаемого нейрона с множеством входов. Точно вычислить этот знак невозможно, и он в процессе итерационного обучения может несколько раз измениться, однако, примерное предсказание знака весового коэффициента нейрона через использование выражений (1) и (2) вполне возможно. Очевидно, что чем выше будет вероятность верного предсказания знака весового коэффициента нейрона, тем устойчивее будем обучение нейрона [3].

Оценку эффективности предсказания знака весового коэффициента можно осуществить, сравнивая знаки весовых коэффициентов обученного нейрона и знаки, полученные в результате вычислений по формулам (1) и (2). Численный эксперимент показывает, что вероятность ошибочного прогноза знака составляет от 0.11 до 0.27. То есть процедуры прогноза знака весового коэффициента дают верный результат минимум в 73% случаев, максимум в 89% случаев. Именно это обстоятельство и является предпосылкой для создания быстрых неитерационных алгоритмов обучения линейной части искусственных нейронов.

Если известно, что итерационные алгоритмы обучения нейрона неустойчивы и могут приводить как к переобучению нейрона, так и к его недообучению, то необходимо научиться предсказывать значения весовых коэффициентов нейрона, опираясь на статистики входных данных «Свой» и «все Чужие» [2]. Самым простым способом предсказания возможных значений весовых коэффициентов является учет нестабильности (с. к.о.) данных образа «Свой». Идея формирования такого прогноза состоит в ослаблении влияния нестабильных биометрических параметров через коэффициенты их влияния:

(3)

При выборе коэффициентов по формуле (3) нестабильные коэффициенты с большим значение б(vi) оказывают примерно в 2–3 раза меньшее влияние на результат по отношению к более стабильным коэффициентам с меньшей дисперсией.

Еще более эффективного выталкивания образа «Свой» из образов «Все Чужие» удается достичь, если усилить влияние биометрических параметров, обладающих высокой уникальностью. То есть весовые коэффициенты должны вычисляться по формуле:

(4)

Практика показывает, что вычисление весовых коэффициентов по формуле (4) позволяет достаточно быстро вытолкнуть образы «Свой» на периферию образов «все Чужие» [4, 6].

Теоретически за счет увеличения числа учитываемых биометрических параметров n®¥ можно как угодно далеко вытолкнуть образ «Свой» на выходе обученного сумматора. Однако слишком сильное выталкивание образа «Свой» за пределы образов «все Чужие» недопустимо из-за возможности осуществления атаки «Поиска биометрических близнецов».

Список использованных источников:

1.  ГОСТ Р 52633.5 – 2011 «Защита информации. Техника защиты информации. Автоматическое обучение нейросетевых преобразователей биометрия-код доступа».

2.  , , Фунтиков алгоритмы обучения нейросетевых механизмов биометрико-криптографической защиты информации. /Монография. //Пенза: Изд-во Пензенского гос. ун-та, 2005.- 273 с.

3.  B. Akhmetov, A. Ivanov, V. Funtikov, I. Urnev Evaluation of Multidimensional Entropy on Short Strings of Biometric Codes with Dependent Bits. «Progress in Electromagnetics Research Symposium» PIERS Proceedings, August 19-23, Moscow, RUSSIA 2012, p.66-69.

4.  , , Малыгина длинных биометрических кодов, воспроизводящих корреляционные связи выходных данных нейросетевого преобразователя. М.: Радиотехника, «Нейрокомпьютеры: разработка, применение» №3, 2012. - с. 40-43.

5.  , , Картбаев вероятностей появления ошибок нейросетевых преобразователей биометрия-код на основе малых выборок.// В сб. мат. ІІ Международной научной конференции «Высокие технологии – залог устойчивого развития», Республика Казахстан, Алматы: Изд-во Казахского национального технического ун-та, 2013. – С.234-237.

6.  , , Малыгин тестирования биометрико-нейросетевых механизмов защиты информации. Казахстан, Алматы, КазНТУ им. Сатпаева, 2013. - 152 с. ISBN 978-101-228-586-4, http://portal. /files/publicate/2014-01-04-11940.pdf

References:

1.  ГОСТ Р 52633.5 – 2011 «Защита информации. Техника защиты информации. Автоматическое обучение нейросетевых преобразователей биометрия-код доступа».

2.  , , Фунтиков алгоритмы обучения нейросетевых механизмов биометрико-криптографической защиты информации. /Монография. //Пенза: Изд-во Пензенского гос. ун-та, 2005.- 273 с.

3.  B. Akhmetov, A. Ivanov, V. Funtikov, I. Urnev Evaluation of Multidimensional Entropy on Short Strings of Biometric Codes with Dependent Bits. «Progress in Electromagnetics Research Symposium» PIERS Proceedings, August 19-23, Moscow, RUSSIA 2012, p.66-69.

4.  , , Малыгина длинных биометрических кодов, воспроизводящих корреляционные связи выходных данных нейросетевого преобразователя. М.: Радиотехника, «Нейрокомпьютеры: разработка, применение» №3, 2012. - с. 40-43.

5.  , , Картбаев вероятностей появления ошибок нейросетевых преобразователей биометрия-код на основе малых выборок.// В сб. мат. ІІ Международной научной конференции «Высокие технологии – залог устойчивого развития», Республика Казахстан, Алматы: Изд-во Казахского национального технического ун-та, 2013. – С.234-237.

6.  , , Малыгин тестирования биометрико-нейросетевых механизмов защиты информации. Казахстан, Алматы, КазНТУ им. Сатпаева, 2013. - 152 с. ISBN 978-101-228-586-4, http://portal. /files/publicate/2014-01-04-11940.pdf

, ,

Описание не итерационного алгоритма обучения искусственного нейрона

Аннотация. В статье рассматривается вопросы обучения сети искусственных нейронов. Приводится описание не итерационного алгоритма обучения искусственного нейрона.

Ключевые слова: биометрия, искусственный нейрон, биометрические приложения, не итерационный алгоритм, обучение нейрона

, ,

Жасанды нейронды үйретудің итерациялық емес алгоритмінің сипаттамасы

Түйіндеме. В статье рассматривается вопросы обучения сети искусственных нейронов. Приводится описание не итерационного алгоритма обучения искусственного нейрона.

Негізгі сөздер: биометрия, жасанды нейрон, биометриялық қосымша, итерациялық емес алгоритм, нейронды үйрету

Akhmetov B. S., Akhmetova S. T., Ivanov A. I., Kartbayev T. S., Maligyn A. Yu.

The description of the non - iterative learning algorithm of artificial neuron

Summary. The article considers the issues of training the network of artificial neurons. The description of the non - iterative algorithm of artificial neuron learning.

Keywords: biometrics, artifical neuron, biometrical applications, non-iterative algorithm, learning of neuron обучение нейрона

Сведения об авторах

Ахметов Бахытжан Сражатдинович – д. т.н., профессор, директор Института информационных и телекоммуникационных технологий Казахского национального технического университета имени

Ахметова Санзира Тынымбаевна – ведущий научный сотрудник Казахского национального технического университета имени

– д. т.н., доцент - начальник лаборатории биометрических и нейросетевых технологий ОАО «Пензенский научно-исследовательский электротехнический институт», 440000, , Тел. [phone], E-mail: *****@***penza. ru

– доктор PhD, заместитель директора Института информационных и телекоммуникационных технологий Казахского национального технического университета имени .

– д. т.н., профессор Пензенского государственного университета, Россия, 440026, 0, E-mail: [e-mail]