А. Н. АВЕРКИН, М. А. КРИВОНОС
Вычислительный центр им. РАН, Москва
НЕЙРОННЫЕ СЕТИ С ХАОТИЧЕСКИМИ НЕЙРОНАМИ
Исследована динамика VSF-сети. VSF-сеть – модель нейронных сетей, которая сегментирует и фиксирует информацию полученную из внешнего мира. VSF-сеть – гибридная нейронная сеть, использующая хаотические нейроны в скрытом слое. VSF-сеть подвергает кластеризации информацию, кластеры которой, генерируются хаотическими нейронами в скрытом слое. В работе анализируется динамика генерации нейронного кластера, и исследуются факторы, затрагивающие порождение кластера, а также исследуется стабильность и колебания кластера нейронов и генерации кластеров.
Описание сети. Одним из основных недостатков нейронных сетей является забывание результатов обучения при изменении обучающей выборки. В настоящей работе описывается сеть, которая не забывает свои предыдущие состояния – сеть VSF (Vibration Synchronizing Function Network). VSF-сеть генерирует подсети, используя группы нейронов, которые производят синхронные колебания в течение периода обучения. Мы называем группу нейронов кластером. Динамика кластера VSF-сети моделируется отображением GCM [1], являющимся примером CML – модели, которая описывает временное взаимодействие взаимосвязанных решеток. Поведение каждой 
-той решетки 
в момент 
выражено (1):
(1)
Поведение GCM определяется в зависимости от силы хаоса и корреляционной силы каждой ячейки. Ячейка выбывает из кластера, когда сила хаоса высока. С другой стороны, когда корреляционная сила среди ячеек усиливается, каждая ячейка имеет тенденцию оставаться в кластере. Если сила хаоса каждой ячейки постоянна, поведение кластера в GCM определяется в зависимости от значения начального состояния и корреляционного коэффициента каждой ячейки. Если корреляционные коэффициенты среди ячеек высоки, взаимные корреляции увеличатся. В результате кластер будет поддержан. Корреляции среди ячеек уменьшатся, когда корреляционные коэффициенты малы. Тогда различия выходов от ячеек растет и ячейка выпадает из кластера. Если вывод нейрона, корреляционная скорость модифицирования которого мала и приближается к нулю, то корреляционные коэффициенты не изменяется и существующий кластер остается поддержан.
VSF-сеть – нейронная сеть гибридного типа, составленная из многослойной нейронной сети и нейронной сети Хопфилда. Многослойная нейронная сеть обучается методом обратного распространения, а нейронная сеть Хопфилда обучается методом подобным самоорганизующейся карте. Первую назовем BP-модулем, а последнюю – LF-модулем. Хаотический нейрон введен в скрытый слой BP-модуля. Как результат, динамика нейронов скрытого слоя BP-модуля описывается GCM.
Процедура обучения. VSF-сеть – нейронная сеть, реализующая дообучение. Предполагается, что некоторые знания уже были приобретены до обучения VSF-сети. Эти знания называют предзнаниями. Обучение VSF-сети выполняется согласно следующим процедурам:
1. Вводим образец 
во входной слой BP-модуля
2. Вводим образец во входной слой LF-модуля
3. Выполняется обучение LF-модуля на основе самоорганизующейся карты
4. Выход от скрытого слоя BP-модуля комбинируется с выходом нейронов LF-модуля, и значение используется как начальное состояние для скрытого слоя BP-модуля
5. Рекуррентная процедура, основанная на динамике, выполняется в течение некоторого периода (=t)
6. Вычисляется средний выход скрытого слоя в период колебаний. Этот средний выход устанавливается как выходное значение скрытого слоя. Остальная часть прямого хода выполняется на основе этого выходного значения
7. Вычисляется разница между выходом BP-модуля и сигналом учителя. Веса между слоями BP-модуля модифицируются согласно правилу дельта обобщения
8. Модифицируются силы взаимодействия между нейронами скрытого слоя.
Программная реализация модели выполнена в среде Microsoft Visual Studio 7.0 на языке C#. Проведено сравнение с АРТ-сетью, которое показало более высокую скорость сходимости VSF-сети.
Список литературы
1. K. Kaneko. Chaotic but regular posi-nega switch among coded attractors by cluster size variation. Phys. Rev. Lett., 1989. vol. 63. P. 219.
2. K. Kaneko. Period-coupling of kink-antikink patterns, quasi-periodicity in antiferrolike structure and spatial intermittency in coupled map lattice – toward a prelude to a field theory of chaos. Prog. Theor. Phys, 1984. vol. 72. P. 1112.
