Глава 2. Искусственные нейронные сети (стр. 2 )

Пусть - процесс итерации

1.  . Тогда выходы могут принимать значение 1. В этом случае . Следовательно и .

2.  . Тогда выход принимает значение –1. В этом случае и снова и .

7. Сети Хэмминга

В целом ряде задач не требуется воспроизводить распознаваемый образ, как это делают сети Хопфилда, а достаточно указать номер эталона, ближайший к предъявленному входному вектору. Для этого может быть использована сеть Хэмминга. Преимуществами этой сети по сравнению с сетью Хопфилда являются меньшие затраты на память и объем вычислений.

Нейронная сеть Хэмминга показана на рис. 1 и состоит из трех слоев: входного, скрытого и выходного. Скрытый и выходной слои содержат по k нейронов, где k-это число эталонных образов. Каждый из нейронов скрытого слоя соединен с выходами n-нейронов входного слоя. Выходы нейронов выходного слоя связаны со входами остальных нейронов этого слоя отрицательными обратными (ингибиторными) связями. Единственная положительная обратная связь подается с выхода для каждого нейрона выходного слоя на его же вход.

Сеть выбирает эталон, для которого расстояние Хэмминга от предъявленного входного вектора путем активации только одного выхода сети (нейрона выходного слоя), соответствующего этому эталону. Расстояние Хэмминга равно числу несовпадающих компонент (битов) двух бинарных векторов. Иначе говоря, при использовании двоичных значений (0,1) расстояние Хэмминга между двумя векторами

и

определяется в виде:

. (1)

При биполярных значениях элементов обоих векторов расстояние Хэмминга рассчитывается по формуле

. (2)

Мера Хэмминга равна нулю только когда . В противном случае она равна количеству битов, на которое различаются два вектора и Соотношение (2) доказывается легко непосредственно. В качестве упражнения полезно проделать переход от (2) к (1).

Фактически первый слой в сети Хэмминга отсутствует и она двухслойная. На стадии инициализации сети Хэмминга весовым коэффициентам первого слоя (в двухслойном рассмотрении ) присваиваются значения

, , (3)

i=1,2,…,n; j=1,2,…,k; где - значение i-го признака (бита) для j-го образца. Весовые коэффициенты тормозящий обратных связей во втором слое полагают равными некоторой небольшой величине ε: 0< ε<1/k. Выход нейрона, связанный с его же входом, имеет вес +1. Опишем и проанализируем алгоритм функционирования сети Хэмминга:

1.  На входы сети подается неизвестный вектор , на основе которого рассчитываются выходы состояния нейронов первого слоя

, j=1,…,k. (4)

Для того, чтобы узнать, что представляет эта величина с точки зрения расстояния Хэмминга, подставим в формулу (4) весовые коэффициенты (3).

Тогда

. (5)

Сравнивая это выражение с формулой (2) для расстояния Хэмминга, мы получим

. (6)

Если ввести нормированные значения выходных сигналов

, (7)

то , если и , если . В остальных случаях значения располагаются в интервале [0,1].

Сигналы становятся начальными состояниями второго слоя MAXNET на второй фазе функционирования сети. Задача нейронов этого слоя состоит в определении победителя, то есть нейрона, уровень возбуждения которого наиболее близок к 1. Такой нейрон указывает на вектор образа с минимальным расстоянием Хэмминга до входного вектора . Процесс определения победителя - это рекуррентный процесс. Для его выполнения веса обратной связи второго слоя выбираются в виде

, (8)

.

Рекуррентная формула, определяющая итерационный процесс, имеет вид

. (9)

Функция активации нейрона f(y) слоя MAXNET задается выражением

. (10)

Уравнение (9) показывает, что значения на выходе нейронов будут уменьшаться, пока не достигнут 0 во всех кроме одного. Это достаточно очевидно, если занумеровать в порядке убывания. Тогда ясно, что «выживет» одни с i=1.

Проблема, связанная с сетью Хэмминга проявляется в случае, когда зашумленные образы находятся на одинаковом (в смысле Хэмминга) расстоянии от двух или более эталонов. В этом случае выбор сетью Хэмминга одного из этих эталонов становится совершенно случайным.

 

Рис.1

9.  Двунаправленная ассоциативная память (ДАП) или сеть Коско

Сети BAM (Bidirectional Association Memory)

Память человека является ассоциативной: один предмет, напоминает нам о другом, а этот другой – о третьем. При свободном течении мысли они перемещаются от предмета к предмету по цепочке умственных ассоциаций. Кроме того возможно использование способности к ассоциациям для восстановления забытых образов. Если мы забыли где оставили какую-либо вещь, то пытаемся вспомнить, где видели ее в последний Ра, с кем разговаривали и что делали. Посредством этого устанавливается некая цепочка ассоциаций, что позволяет нашей памяти соединить ассоциации для получения требуемого образа.

Ассоциативная память Хопфилда является, строго говоря, автоассоциативной, что означает, что образ может быть завершен или исправлен, но не может быть ассоциирован с другим образом. Данный факт является результатом одноуровневой структуры ассоциативной памяти, в которой вектор появляется на выходе тех же нейронов, на которые поступает входной вектор.

Двунаправленная ассоциативная память является гетероассоциативной; входной вектор поступает на один набор нейронов, а соответствующий выходной вектор вырабатывается на другом наборе нейронов. Как и сеть Хопфилда ДАП способна к обобщению, вырабатывая правильные реакции, несмотря на искаженные входы. Кроме того, могут быть реализованы адаптивные версии ДАП, выделяющие эталонный образец из зашумленных экземпляров. Эти возможности сильно напоминают процесс мышления человека и позволяют искусственным сетям сделать шаг в направлении моделирования мозга.

В сети ДАП сигналы распространяются в двух направлениях: от входа к выходу и обратно. Функционирование имеет синхронный характер. Это означает, что если в первом цикле сигналы вначале проходят в одну сторону для определения нейтронов-получателей, то в следующем цикле они сами становятся источниками, высылающими сигналы в обратную сторону. Этот процесс повторяется до достижения состояния равновесия.

Функция активации нейронов имеет пороговый или крутой сигмоидальный характер. При пороговом характере она может быть двоичной со значениями 1, 0 или биполярной со значениями . При нулевом сигнале возбуждения нейрона его текущее состояние остается равным предыдущему состоянию. Для обеспечения лучших характеристик сети в режиме распознавания на этапе обучения используются только биполярные сигналы. Матрица весов w, связывающая обе части сети, является действительной и несимметричной. С учетом симметрии связей входного и выходного слоев сети при прямом распространении сигналов веса описываются матрицей W, а при обратном направлении – матрицей WT.

Пусть входные обучающие данные определены в виде множества m=npx биполярных пар , где

,

В соответствии с определением Косно матрица весов W формируется на основе правил

, (1)

i=1,2,…,n; j=1,2,…,p, где a – число пар обучения. В векторном виде это записать не так просто, поскольку векторы и . Разной длины. Соответственно матрица Wij действует из пространства одной размерности n в пространство другой размерности p.

Если на первый слой выдан сигнал , то второй слой после обработки выдаст значения

, (2)

где

или

После выхода из второго слоя сигнал подается на входы первого слоя. После прохождения этого слоя

. (3)

Далее следует вторая итерация, и процесс продолжается до достижения стабильного состояния сети. Каждому состоянию сети можно сопоставить энергетическую функцию

, (4)

Доказано, что каждое очередное изменение состояния переходного процесса ведет к уменьшению значения энергетической функции сети вплоть до достижения локального минимума. Этот минимум достигается за конечное число итераций (для бинарных векторов) и имеет значение

(5)

на конечных векторах и.

Иными словами, любое другое решение (в том числе и ближайшее отличающееся хотя бы на 1 в смысле меры Хэмминга) от (,) будет характеризоваться большим значением энергетической функции.

При выполнении некоторых дополнительных условий парой (,) становится одна из обучающих пар, участвующих в формировании матрицы W, которая наиболее подобна (наиболее близка по мере Хэмминга) паре, определившей начальное состояние .

Существуют различные модификации ДАП, улучшающие ее работу (распознавание образов при наличии шумов).

Как и сеть Хопфилда, ДАП имеет ограничения на максимальное количество ассоциаций, которые она может точно воспроизвести. Если этот лимит превышен, то сеть может выработать неверный выходной сигнал, воспроизводя ассоциации, которым не обучена.

Сделаны оценки, в соответствии с которыми количество запоминаемых ассоциаций не может превышать количества нейронов в меньшем слое. На самом деле возможности сети меньше.

9. Сети Кохонена

Сети Кохонена, или самоорганизующиеся карты (Kohonen maps), предназначены для решения задач автоматической классификации, когда обучающая последовательность образов отсутствует (обучение без учителя). Соответственно невозможно и определение ошибки классификации, на минимизации которой построено обучение с учителем (например, в алгоритме обучения с обратным распространением ошибки).

Сеть Кохонена двухслойная. Она содержит слой входных нейронов и слой Кохонена. Слой Кохонена может быть одномерным, двумерным и трехмерным. В первом случае нейроны расположены в цепочку; во втором – они образуют двумерную сетку (обычно в форме квадрата или прямоугольника), а в третьем – трехмерную систему.

Определение весов нейронов слоя Кохонена основано на использовании алгоритмов автоматической классификации (кластеризации или самообучений).

Пусть имеется сеть Кохонена, содержащая n входных нейронов и слой Кохонена из m выходных нейронов, расположенных в виде прямоугольника (рис. 1)

Рис.1

Вход (кластеров) различных классов образов, причем число этих кластеров заранее неизвестно. На рис. 1 показаны связи всех входных нейронов лишь с одним нейроном слоя Кохонена. Каждый нейрон слоя Кохонена соединен также с соседними нейронами. Введем следующие обозначения:

Нейроны входного слоя служат для ввода значений признаков распознаваемых образов. Активные нейроны слоя Кохонена предназначены для формирования областей вектор весовых коэффициентов j-го нейрона слоя Кохенена , (j=1,2,…,m) - входной вектор или вектор значений признаков входного образца .

На стадии обучения (точнее самообучения) сети входной вектор попарно сравнивается со всеми векторами всех нейронов сети Кохонена. Вводится некоторая функция близости d (например, в виде эвклидова расстояния). Активный нейрон с номером c слоя Кохонена, для которого значение функции близости между входным вектором , характерезующим некоторый образ, к векторам максимально, объявляется «победителем». При этом образ, характеризующийся вектором , относится к классу, который представляется нейроном-«победителем».

В результате n-мерное входное пространство отобразится на m-мерную сетку (слой Кохонена). Следует подчеркнуть, что это отображение реализуется в результате рекуррентной (итеративной) процедуры самообучения (unsupervised learning). Отличительная особенность этого отображения – формирование кластеров (cluster) или классов. По завершении процесса самообучения на стадии реального использования сети Кохонена неизвестные входные образы относятся к одному из выявленных кластеров (классов).

Рассмотрим алгоритм самообучения сетей КохоненаОбозначим функцию близости . Выигрывает нейрон c

. (1)

Можно (и желательно) использовать нормированные векторы . Тогда близость и можно переделить по максимальному значению скалярного произведения

. (2)

На стадии самообучения сети Кохонена осуществляется коррекция весового вектора не только нейрона-«победителя», но и весовых векторов остальных активных нейронов слоя Кохонена, однако, естественно в значительно меньшей степени – в зависимости от удаления от нейрона-«победителя». При этом форма и величина окрестности вокруг нейрона-«победителя», весовые коэффициенты нейронов которой также корректируются, в процессе обучения изменяются. Сначала начинают с очень большой области – она, в частности, может включать все нейроны слоя Кохонена. Изменение весовых векторов осуществляется по правилу

, j=1, 2,…, n, (3)

где - значение весового вектора на шаге t самообучения сети, -- функция близости между нейронами слоя Кохонена и - изменяемый во времени коэффициент шага коррекции. В качестве обычно выбирается монотонно убывающая функция (0<<1), есть алгоритм самообучения начинается сравнительно большими шагами адаптации и заканчивается относительно малыми изменениями.

Отметим, что перед самообучением слоя Кохонена необходимо выполнить нормализацию входных и весовых векторов:

, . (4)

Последовательность алгоритма Кохонена

Инициализация

Выбираются (случайным образом) начальные значения всех n-мерных весовых векторов слоя Кохонена, а также стартовые значения коэффициента коррекции и радиуса близости d.

Шаг 1.

Выбирается некоторый образ, характеризующийся вектором значений признаков

Шаг 2.

Определяется нейрон-«победитель» с номером с.

Шаг 3.

Для нейрона-«победителя» с номером с и для нейронов из радиуса близости вокруг него определяются новые значения весовых коэффициентов (векторов).

Шаг 4.

Осуществляется модификация коэффициента коррекции и радиуса близости d.

Шаг 5.

Отбирается критерий сходимости, согласно которому происходит «останов» или переход к шагу 1.

Функция близости можно выбрать в виде

где z – расстояние между нейронами в обычном пространстве, например для двумерного пространства

,

где и – координаты по оси x и оси y нейрона i, и – аналогично для нейрона j.

10. Сети адаптивной резонансной теории (ART-сети)

Проблема функционирования долговременной памяти человека не решена до настоящего времени. Но все образы запоминаются в такой форме, что ранее запомненные не модифицируются и не забываются. Это создает дилемму: каким образом память остается пластичной, способной к восприятию новых образов, и в то же время сохраняет стабильность, то есть старые образы не стираются. Традиционные искусственные нейронные сети оказались не в состоянии решить проблему стабильности – пластичности. Очень часто обучение новому образу уничтожает или изменяет результаты предшествующего обучения.

В реальной ситуации сеть будет подвергаться постоянно изменяющимся воздействиям, она может иногда не увидеть один и тот же обучающий вектор дважды. При таких обстоятельствах обычная сеть часто не будет обучаться; она будет непрерывно изменять свои веса, не достигая удовлетворительных результатов. Более того, были найдены примеры, в которых только четыре обучающих вектора, предъявляемых циклически, заставляют веса сети непрерывно изменяться, никогда не сходясь. Такая временная нестабильность заставила Гроссберга и его сотрудников исследовать радикально отличные конфигурации. Результатом стала адаптивная резонансная теория (ART), авторами которой являются Карпентер и Гроссберг (1986 г).

Сети и алгоритмы ART сохраняют пластичность необходимую для изучения новых образов, в то же время, предотвращается изменение ранее запомненных образов. Однако, ART довольно трудна для понимания, хотя основные идеи и принципы реализации достаточно просты. Мы ограничимся общим описанием ART.

Существуют различные модификации ART. Мы рассмотрим только первую из них ART‑1.

Сеть ART представляет собой векторный классификатор. Входной вектор классифицируется в зависимости от того, на какай из множества ранее запомненных образов он похож. Свое классификационное решение сеть ART выражает в форме возбуждения одного из нейронов распознающего слоя. Если входящий вектор не соответствует ни одному из запомненных образов, создается новая категория, путем запоминания образа, идентичного новому входному вектору. Если определено, что входной вектор похож на один из ранее запомненных векторов с точки зрения определенного критерия сходства, то ранее запомненный вектор будет изменяться (обучаться) под воздействием нового входного вектора таким образом, чтобы стать более похожим на этот входной вектор.

Запомненный образ не будет изменяться, если текущий вектор не окажется достаточно похожим на него. Таким образом решается дилемма стабильности – пластичности. Новый образ может создавать дополнительные классификационные категории, однако он не может заставить измениться существующую память.

На рис. 1 показана упрощенная конфигурация сети ART, представленная в виде пяти функциональных модулей. Она включает два слоя нейронов: так называемый «слой сравнения» и «слой распознавания». Приемник 1, Приемник 2 и Сброс обеспечивают управляющие функции, необходимые для обучения и классификации.

Рис.1

Слой сравнения получает двоичный входной вектор и первоначально пропускает его неизменным для формирования выходного вектора . На более поздней фазе в распознающем слое вырабатывается двоичный вектор , модифицирующий вектор как описано ниже.

Каждый нейрон в слое сравнения получает три двоичных входа (0,1):

1)  компонента xi входного вектора , где i – номер нейрона;

2)  согнал обратной связи Ri - взвешенная сумма выходов распознающего слоя;

3)  выход из Приемника 1 (один и тот же символ подается на все входы этого слоя).

Чтобы получить на выходе нейрона единичное значение, как минимум два из трех его входов должны равняться единице; в противном случае его выход будет нулевым. Таким образом реализуется так называемое привило двух третей. Первоначально выходной сигнал G1 приемника установлен на единицу, обеспечивая один из необходимых для возбуждения нейронов выходов, а все компоненты вектора установлены в 0. Следовательно, в этот момент вектор идентичен двоичному входному вектору .

Слой распознавания осуществляет классификацию входных векторов. Каждый нейрон в слое распознавания имеет соответствующий вектор весов . Только один нейрон с весовым вектором, наиболее соответствующим сходному вектору возбуждается; все остальные нейроны заторможены. По сути веса j представляют собой запомненный образ или экземпляр для категории входных векторов j [(bj, Cj)- max]. Эти веса являются действительными числами, а не двоичными величинами. Двоичная версия этого образа также запоминается в соответствующем наборе весов слоя сравнения.

Этот набор состоит из весов связей, соединяющих определенные нейроны слоя распознавания, один вес на каждый нейрон слоя сравнения. В процессе функционирования каждый нейрон слоя распознавания вычисляет скалярное произведение вектора собственных весов и входного вектора . Нейрон, имеющий веса, наиболее близкие к вектору , будут иметь самый большой выход, тем самым выигрывая соревнования и одновременно затормаживая все остальные нейроны в слое распознавания.

Теоремы ART

1.  После стабилизации процесса обучения предъявление одного из обучающих векторов (или вектора с существенными характеристиками категории) будет активизировать требуемый нейрон слоя распознавания без поиска. Это обеспечивает доступ к предварительно изученным образам.

2.  Процесс поиска является устойчивым, те. После определения выигравшего нейрона он остается и далее таковым.

3.  Процесс обучения является устойчивым. Обучение не будет вызывать переключения с одного возбужденного нейрона слоя распознавания на другой.

4.  Процесс обучения конечен: завершается после конечного числа шагов.

Недостаток ART – она не обеспечивает распределенную память. Потеря одного узла означает потеря всей памяти.

11. Когнитрон и неокогнитрон

Фукушима в 1975 году разработал когнитрон – гипотетическую модель биологической системы восприятия и распознавания зрительной информации. Эта система инвариантна к поворотам, перемещениям и изменениям масштабов образов. Возможности когнитрона к адаптивному распознаванию образов стимулировали в свою очередь исследования механизмов мозга.

Когнитрон организован подобно зрительной коре мозга человека, состоящей из нескольких слоев нейронов. Несмотря на то, что слои организованы однотипно, каждый из них, подобно отдельным слоям зрительной коры, реализует различные уровни обобщения.

Рис.1

Например, если входной слой нейронов распознает лишь простые образы (линии) и их ориентацию, то последующие слои способны ко все более сложному обобщению, качество которого не зависит от положений распознаваемых образов.

Нейрон из последующего слоя связан с ограниченным набором нейронов предыдущего.

Подобное правило организации при переходе от слоя к слою позволяет каждому нейрону выходного

слоя реагировать на все входное поле при наличии ограниченного количества слоев нейронов. Количество требуемых слоев может быть уменьшено за счет расширения области связи в последующих слоях. Однако, результатом такого расширения может стать значительное перекрытие областей связи, приводящее к одинаковой реакции нейронов выходного слоя. Для решения этой проблемы может быть усилена конкуренция между нейронами, так что влияние малой разницы в реакциях нейронов будет усиливаться.

Каждый слой когнитрона содержит два типа нейронов: возбуждающие и тормозящие.

Рис.2

Возбуждающие нейроны одного слоя стремятся вызвать активацию соединенного с ним нейрона следующего слоя. При этом на один нейрон второго слоя приходится целая группа нейронов первого слоя. Тормозящие нейроны получают от предыдущего слоя и нейтрализуют это возбуждение.

Возбуждение нейрона последующего (второго) слоя определяется значением нелинейной функции активации от взвешенной суммы его возбуждающих и тормозящих входов.

Каждый возбуждаемый нейрон последующего слоя связан с ограниченным числом возбуждающих нейронов предыдущего слоя ( из области связи) как и в головном мозге. Аналогично в предыдущем слое существует тормозящие нейроны, соответствующие тем же областям связи. Ясно, что когнитрон обеспечивает конвергенцию входов.

Рассмотрим работу возбуждающих и тормозящих нейронов.

Возбуждающие нейроны

Значение выхода возбуждающего нейрона определяется отношением взвешенных сумм возбуждающих и тормозящих входов:

, (1)

Где

, (2)

ai – вес i-го возбуждающего входа; ui – выход i-го возбуждающего нейрона из соответствующей области предыдущего слоя; bj – вес j-го тормозящего входа; vj – выход j-го тормозящего нейрона предыдущего слоя; веса имеют только положительные значения.

Особенностью когнитрона является то, что его весовые коэффициенты могут только возрастать в процессе обучения. Причем этот рост не ограничен.

Тормозящие нейроны

Тормозящий нейрон соответствует области связи возбуждающего нейрона. Веса тормозящих нейронов устанавливаются заранее таким образом, чтобы их сумма была равна единице. Кроме того, они не изменяются в процессе обучения. Значение на выходе тормозящего нейрона представляет собой среднее взвешенное значение выходов возбуждающих нейронов из соответствующей области связи:

, (3)

где , cj – вес j- го возбуждающего входа.

Во втором слое нейроны также конкурируют, образуя область конкуренции. На каждый нейрон второго слоя оказывают латеральное (внешнее) торможение нейроны из области его конкуренции. Соответствующий тормозящий нейрон суммирует выходы всех нейронов из этой области и вырабатывает сигнал, тормозящий воздействие на целевой нейрон.

Ускоренное латеральное торможение осуществляется путем формирования на выходе дополнительного нейрона латерального торможения в соответствии с соотношением:

, (4)

где yl – выход l – го нейрона в области конкуренции; gl - вес связи от l – го нейрона к нейрону латерального торможению; .

Обучение когнитрона представляет собой обучение без учителя, в результате которого при получении обучающего набора входных образов сеть самоорганизуется за счет изменения весовых коэффициентов.

При инициализации значения на всех выходах нейронов идентичны. Соседние нейроны слоя (из области конкуренции) конкурируют между собой. Это обеспечивается за счет значительного перекрывания областей связей соседних нейронов.

В результате обучения в заданной области слоя возбуждается только один нейрон, который будет оказывать латерально-тормозящее воздействие на соседние нейроны из области его конкуренции. В результате обучения синапсы возбужденного нейрона будут усиливаться, а синапсы соседних нейронов останутся неизменными.

Возбуждающие веса данного нейрона изменяются следующим образом:

, (5)

где cj – вес тормозящей связи j – го нейрона с тормозящим нейроном i; uj – выход нейрона j в слое 1; ai – возбуждающий вес i – го входа; η – коэффициент скорости обучения