Часть I. Искусственные нейронные сети (стр. 4 )

, (1)

где

, (2)

ai – вес i-го возбуждающего входа; ui – выход i-го возбуждающего нейрона из соответствующей области предыдущего слоя; bj – вес j-го тормозящего входа; vj – выход j-го тормозящего нейрона предыдущего слоя; веса имеют только положительные значения.

Особенностью когнитрона является то, что его весовые коэффициенты могут только возрастать в процессе обучения. Причем этот рост не ограничен.

Тормозящий нейрон соответствует области связи возбуждающего нейрона. Веса тормозящих нейронов устанавливаются заранее таким образом, чтобы их сумма была равна единице. Кроме того, они не изменяются в процессе обучения. Значение на выходе тормозящего нейрона представляет собой среднее взвешенное значение выходов возбуждающих нейронов из соответствующей области связи:

, (3)

где , cj – вес j- го возбуждающего входа.

Во втором слое нейроны также конкурируют, образуя область конкуренции. На каждый нейрон второго слоя оказывают латеральное (внешнее) торможение нейроны из области его конкуренции. Соответствующий тормозящий нейрон суммирует выходы всех нейронов из этой области и вырабатывает сигнал, тормозящий воздействие на целевой нейрон.

Ускоренное латеральное торможение осуществляется путем формирования на выходе дополнительного нейрона латерального торможения в соответствии с соотношением:

, (4)

где yl – выход l – го нейрона в области конкуренции; gl - вес связи от l – го нейрона к нейрону латерального торможению; .

Обучение когнитрона представляет собой обучение без учителя, в результате которого при получении обучающего набора входных образов сеть самоорганизуется за счет изменения весовых коэффициентов.

11.3. Обучение и работа когнитрона. При инициализации значения на всех выходах нейронов когнитрона идентичны. Соседние нейроны слоя (из области конкуренции) конкурируют между собой. Это обеспечивается за счет значительного перекрывания областей связей соседних нейронов.

В результате обучения в заданной области слоя возбуждается только один нейрон, который будет оказывать латерально-тормозящее воздействие на соседние нейроны из области его конкуренции (рис.11.3). В результате обучения синапсы возбужденного нейрона будут усиливаться, а синапсы соседних нейронов останутся неизменными.

Возбуждающие веса данного нейрона изменяются следующим образом:

, (5)

где cj – вес тормозящей связи j – го нейрона с тормозящим нейроном i; uj – выход нейрона j в слое 1; ai – возбуждающий вес i – го входа; η – коэффициент скорости обучения

Рис.11.3. Схема соединений тормозящего нейрона

Изменение значений тормозящих весов того же нейрона второго слоя вычисляется по формуле

, (6)

В случае, когда отсутствуют возбужденные нейроны в области конкуренции (во втором слое), например на этапе инициализации процесса обучения, изменение весов вычисляется как

, , (7)

где также как и η – положительный коэффициент скорости обучения (<η).

Рассмотренная процедура обучения обеспечивает более быстрое увеличение возбуждающих весов по сравнению с тормозящими у активированных нейронов. И наоборот, у нейронов, которые проиграли конкуренцию, возбуждающие веса возрастают незначительно, а тормозящие сильнее.

11.4. Неокогнитрон – дальнейшее развитие и модификация идей когнитрона. Каждый слой неокогнитрона состоит из двух плоскостей двумерных массивов нейронов. Простые нейроны входной плоскости (первой) настроены на специфическую входную информацию (входной образ). Сложные нейроны второго слоя уменьшают позиционную зависимость реакции неокогнитрона на образы. На входы каждого сложного нейрона подаются выходные сигналы с набора простых нейронов из соответствующего множества первой плоскости того же слоя.

Глава 12. Обучение как случайный процесс

12.1. Обучение как случайное блуждание. Рассмотрим обучение нейронной сети с учителем. Пусть состояние сети описывается непрерывным вектором внутренних параметров настройки и характеризуется энергией , в качестве которой мы примем целевую функцию, представляющую собой полусумму квадратов ошибок, соответствующих обучающим примерам, взятую со знаком минус. Пусть у сети имеется n выходов, которые мы занумеруем индексами i, и ей предъявлено для обучения m примеров, нумеруемых индексами j. Обозначим выходные состояния нейронной сети , в то время как правильные значения, соответствующие ответам обучающих примеров, есть . Тогда энергетическая функция запишется в виде

(1)

Энергетическая аналогия позволяет представить обучение нейронной сети как движение материальной точки по заданному энергетическому рельефу. Если отождествить (1) с потенциальной энергией, то на точку будет действовать скатывающая сила в направлении ближайшего локального минимума. Если одновременно на точку действует сила вязкого сопротивления, то при больших значениях вязкости можно считать, что силы инерции пренебрежимо малы и сила вязкости, пропорциональная скорости, локально уравновешивается потенциальной силой. В таком случае точка будет двигаться в направлении локального минимума, пока не достигнет его и не остановится. Выйти из локального минимума частица самопроизвольно уже не сможет. Для поиска глобального минимума можно добавить случайную силу эквивалентную тепловому действию внешней среды.

В итоге динамика нейронной сети может быть описана на основе уравнения Ланжевена, которое применяется для систем с большой вязкостью, движущихся под действием суммы детерминированной силы и случайной силы :

. (2)

Компоненты случайной силы в уравнении (2) удовлетворяют соотношениям для корреляционной функции вида

(3)

где = kT (k – постоянная Больцмана, T - температура).

Для решения уравнения (2) необходимо задание конкретного вида , но ряд общих свойств можно изучить для функций достаточно произвольного вида. Задача об обучении с учителем в такой формулировке эквивалентна задаче о многомерных случайных блужданиях частицы в потенциальном поле сложной конфигурации.

12.2. Прохождение критических точек. Рассмотрим динамику системы вблизи минимума энергии, то есть вблизи некоторого решения , как показано на рис.12.1. В окрестности этого решения энергию E можно представить с точностью до квадратичных членов в виде

. (4)

Рис.12.1. Форма энергетической поверхности вблизи решения

Поскольку задача обучения нейронной сети сведена к движению частицы по сложному потенциальному рельефу при наличии случайных сил, возникает тесная связь рассматриваемой проблемы с задачей о диффузии в случайной среде. Перетекание из одной долины в другую происходит через перевалы (рис12.2).

Рис.12.2. Форма энергетической поверхности в окрестности перевала

Тем самым важнейшими точками при описании процесса обучения являются критические точки, в которых потенциальная функция изменяется вблизи минимумов и седловых точек. Определенный интерес представляют точки максимумов как оценка верхней границы возбуждения системы, за которой никакое обучение заведомо невозможно, поскольку все пространство “затоплено”.

В окрестности точек перевала градиенты целевой функции малы, а самих точках перевала равны нулю, тем самым все градиентные методы перестают работать. В то же время такие области никак не могут считаться решениями, и их необходимо проходить максимально быстро. Основываясь на диффузионной модели, можно предложить «метод продувки» для решения этой проблемы. При замедлении движения в перевальных областях в окрестности точки M в процессе перехода из долины A в долину B необходимо приложить искусственную внешнюю силу, направленную в сторону долины В. Математически это оформляется следующим образом. В окрестности седловой точки, в которой мы будем считать , зависимость от обучаемых параметров может быть приведена к виду

. (5)

Это гарантирует теорема Морса при выполнении условия .

Направление наискорейшего спуска с перевала соответствует . Переход через перевал может идти в положительном или отрицательном направлении координаты .

Проекция вектора на ось zk:

, (6)

, (7)

где . Найдем среднее значение квадрата . С учетом того, что и получаем:

, (8)

при .

Тем самым временная зависимость релаксации вблизи минимума вполне определена. Из соотношения (8) видно, что точное решение в процессе диффузионного обучения можно получить только при температурном параметре , тогда =0.

Проведенный анализ позволяет модифицировать процесс обучения для повышения его скорости. На начальном этапе обучения детали строения энергетической поверхности не имеют большого значения. Следовательно, можно использовать процедуру обучения, в которой исходная целевая функция заменена сглаженной. В частности можно представить исходную энергетическую поверхность в виде совокупности плоских симплексов с постоянным наклоном.

Преимущества такого подхода:

· Необходимо обходить не все вершины, а только вершины треугольников (промежуточных точек нет);

· В пределе одного симплекса задача линейна.

12.3. Диффузионное уравнение. Поскольку задача обучения тесно связана с диффузионными процессами, рассмотрим случайное блуждание на оси (одномерное блуждание).

Рис.12.3. Соседние узлы в задаче случайного блуждания

Пусть - количество частиц в узле n (рис.12.3), - вероятность прыжка в определенную сторону, тогда изменение количества частиц в единицу времени в одной точке n будет равно:

, (9)

где - частицы, которые пришли в точку n, - частицы, которые ушли из точки n. Так как ∆n, где ∆n = 0, то:

, (10)

где . С учетом (10) получаем уравнение диффузии

, (11)

где

Рассмотрим стационарное состояние, в котором

(12)

и

. (13)

Покажем, что соотношение (13) выполняется для одномерной задачи. В этом случае

,

и

.

Такой подход позволяет использовать при описании нейронных сетей аналогии со статистической физикой.

Глава 13. Статистический подход к обучению нейронных сетей. Машина Больцмана и ее модификации

13.1. Статистическая механика занимается изучением макроскопических свойств равновесия в крупных системах, состоящих из однородных элементов, подчиняющихся микроскопическим законам механики. Количество степеней свободы в таких системах чрезвычайно велико. Это является причиной и основой применения для их описания вероятностных методов.

Поскольку нейронные сети представляют собой большие ансамбли одинаковых нелинейных элементов, связанных между собой, они также могут служить объектом изучения статистической физики. К нейронным сетям можно применять различные статистические подходы, и их удобной отличительной особенностью по сравнению с другими объектами статистической физики является возможность прямого изучения не только поведения всей системы в целом, но и ее отдельных элементов. Развитие этого подхода сулит получение дополнительного инструмента оценивания различных искусственных нейронных сетей и тем самым возможности выбора наиболее эффективных и быстродействующих конфигураций. Одним из вариантов такого подхода является так называемая машина Больцмана, основанная на применении распределения Больцмана.

Распределение Больцмана в статистической механике описывает вероятностное распределение состояний подсистем большой системы по энергиям в предположении об установлении теплового равновесия внутри большой системы. Параметром, регулирующим распределение, является температура по абсолютной шкале. С ростом температуры распределение будет более «размытым» по энергиям, а с уменьшением температуры все подсистемы перейдут в основное энергетическое состояние. Таким образом, основным объектом описания в этом случае является ансамбль эквивалентных систем, находящихся в разных состояниях.

В применении к нейронным сетям ансамблем систем является набор эквивалентных нейронных сетей с различными наборами весов нейронов, проявляющихся в разных значениях целевой функции (функции качества обучения). Целевая функция для нейронных сетей играет ту же роль, что энергия для физических систем, состоящих из одинаковых частиц и находящихся в тепловом равновесии. Температура для нейронных сетей становится некоторым формальным параметром, управляющим распределением нейронных сетей по величине значения целевой функции. «Охлаждение» ансамбля нейронных сетей постепенно переведет ансамбль в наинизшее «энергетическое» состояние с минимальным значением погрешности обучения. Метод обучения, основанный на применении статистических распределений, называется машиной Больцмана.

13.2. Алгоритм машины Больцмана:

1.  Определяем некоторую переменную Т, которой мы придаем смысл искусственной температуры.

2.  Предоставляем сети множество входов и вычисляем целевую функцию .

3.  Даем случайное изменение весу и пересчитываем выходы сети и изменения целевой функции в соответствии с изменением веса. Целевая функция обладает смыслом, эквивалентным энергии. Наилучшее ее значение – 0.

4.  Если целевая функция улучшилась (энергия уменьшилась), то изменения веса сохраняется. Если целевая функция увеличилась, то вычисляется вероятность в соответствии с распределением Больцмана

, (1)

где kT= , - постоянная Больцмана, - температура по абсолютной шкале.

Выбирается случайное число r: ; если r<P(E), то изменения сохраняются, иначе – нет.

Рис.13.1. Распределение Больцмана

Наилучшая сеть реализуется при Е=0; по мере T0 все большее число примеров группироваться в окрестности нулевой энергии и будут нас устраивать.

5. Пункты 3-4 повторяются для всех весов сети при уменьшении температуры Т до тех пор, пока не будет достигнуто возможно более низкое значение целевой функции. Затем процесс обучения повторяется для следующего входного вектора. Скорость уменьшения температуры должна быть обратно пропорциональна логарифму времени.

Плюсы машины Больцмана состоят в том, что этот алгоритм обеспечивает достижение глобального минимума, то есть возможен выход из локального минимума. Минусы заключаются в том, что это медленный алгоритм обучения.

Область применения машины Больцмана - распознавание образов и классификация данных. Существуют различные ее модификации. Так есть алгоритмы, в которых одновременно изменяются веса всех входных векторов. Это ускоряет процесс обучения.

Рис.13.2. Распределение Ферми-Дирака при нулевой температуре

В ряде случаев применяют распределение Ферми-Дирака

. (2)

При малых температурах и вероятность , а при вероятность . По мере уменьшения Т, и Е<C, все модификации будут считаться одинаково хорошими. Применение распределения Ферми-Дирака позволяет сгруппировать обученные сети в области решения с точностью .

Глава 14. Особенности моделирования искусственных нейронных сетей в системе MatLab

14.1. Особенности системы MatLab. В рабочем пространстве MatLab существуют зоны просмотра и редактирования. Содержание рабочего пространства сохраняется в файл с расширением *.mat.

Отметим некоторые характерные команды MatLab:

· clc - стирает видимое поле, но не затрагивает памяти;

· clear var1,var2,… - стирает значения переменных var1, var2,…;

· who – просмотр переменных в рабочем пространстве;

· для продления строки ставятся три или более точки;

· cd – показывает текущий каталог;

· help <имя команды> - помощь по определенной команде;

·  если после команды стоит знак «;», то результат команды не выводится на экран;

Комплексные числа:

Комплексная единица обозначается как «i» или «j».

Некоторые из доступных команд:

· imag – возвращает мнимую часть комплексного числа;

· real – возвращает действительную часть комплексного числа;

· angle – возвращает |z|

· abs – возвращает

Массивы:

Задание массивов:

· a1=[1,2,3,4]

· a1(1)=6

· Массив с постоянным шагом: d=3.7:0.3:8.9

· x=sin(d) – x массив синусов.

Для того чтобы узнать длину массива a1 используется команда length(a1).

Задание матриц:

· X=[1,2;3,4;5,6]

Для того чтобы определить размер матрицы используется команда size(X).

Операции над матрицами и векторами:

· *, +, -

· .* и.\ - каждый элемент одной матрицы умножается или делится на соответствующий элемент другой матрицы;

· A\B соответствует выполнению операции A-1B.

Графики

T = 0:pi/50:10pi

X = sin(t)

Y = cos(t)

Plot(x, y,t); grid on;

Цикл

While … end; или

For k=1:1:57 … end;

m-файлы хранят сценарии с инструкциями на m-языке. Они создаются в любом текстовом редакторе. Набор имени файла вызывает выполнение всех команд файла.

Для более серьезного изучения следует обратиться к одному из многочисленных специализированных руководств по MatLab. Для подробного изучения работы с нейронными сетями в системе MatLab необходимо непосредственно обратиться к пакету Neural Networks Toolbox в рамках лабораторных занятий. Мы приведем лишь несколько примеров применения этого пакета.

14.2. Сеть Хопфилда.

Задается целевая матрица T – образец, на котором происходит тренировка:

T = [-1 -1 1; 1 -1 1]'

Далее строим сеть:

net = newhop(T);

Для того чтобы убедиться, что тренировочные образцы воспроизводятся необходимо:

Ai = T;

[Y, Pf, Af] = sim(net,2,[],Ai);

Y

Для примера подадим другой вектор:

Ai = {[-0.9; -0.8; 0.7]}

[Y, Pf, Af] = sim(net,{1 5},{},Ai);

Y{1}

где «{1 5}» - количество итераций.

14.3. Линейный персептрон. Приведем пример, который показывает, как обучить сеть 1-20-1 с одним скрытым слоем из 20 нейронов для приближения зашумленного синусоидального сигнала:

p = [-1:.05:1];

t = sin(2*pi*p)+0.1*randn(size(p));

net=newff(minmax(p),[20,1],{'tansig','purelin'},'trainbr');

net. trainParam. show = 10;

net. trainParam. epochs = 50;

randn('seed',);

net = init(net);

[net, tr]=train(net, p,t);

Рис.14.1. Динамика обучения сети

На рис.14.1 показано как происходит уменьшение ошибки в процессе обучения сети.

14.4. Сеть радиальных функций. Следующий пример показывает, как построить радиальную базисную сеть, приближающую заданную таблично функцию :

P = [4 5 6];

T = [];

net = newgrnn(P, T);

Для проверки работы сети вычислено значение функции, соответствующее аргументу

P = 4.5;

v = sim(net, P)

v =

3.0111

14.5. Сеть Кохонена. Рассмотрим пример выделения нейрона при построении самоорганизующихся карт, выделяющих кластеры из двумерного массива данных P[]:

net = newsom([0 2; 0 1] , [2 3]);

P = [.11 ;...

]

plot(P(1,:),P(2,:),'.g','markersize',20)

hold on

plotsom(net. iw{1,1},net. layers{1}.distances)

hold off

P =

Columns 1 through 11

0.10 1.10 0.10 1.1

0.20 0.10 1.80 1.9

Column 12

1.7000

1.8000

На рис. 14.2. показан результат формирования весов нейрона.

Рис.14.2. Точки, соответствующие данному обучающему множеству, и точка с координатами (1, 0.5), которая показывает место концентрации весов

Глава 15. Некоторые итоги и перспективы развития искусственных нейронных сетей

15.1. Использование особенностей работы мозга. Для создания наиболее эффективных видов архитектуры нейронных сетей пока не существует каких-либо последовательных алгоритмов. Поэтому исключительно полезным может быть использование тех или иных структурных и функциональных особенностей головного мозга человека.

Отметим в первую очередь, что мозг обладает очень сильно выраженной структурной и функциональной неоднородностью. В нем разные отделы осуществляют первичную обработку различных каналов информации, кратковременную память, долговременную память, абстрактное мышление и так далее. В то же время различные отделы мозга хорошо связаны между собой, передают информацию и функционируют в единстве. Тем самым можно ожидать, что и в искусственных нейронных сетях эффективные решения могут быть достигнуты при использовании блочной структуры системы с разной функциональной ориентацией отдельных блоков.

При наблюдении роста мозга у животных и человека выявляется принцип самопостроения и последовательного развития его областей, начиная с первичной нервной пластинки. Ничего подобного для искусственных нейронных сетей пока не разработано. Все части мозга в своем развитии проходят восемь главных стадий:

1.  Клетки нервной пластинки детерминируются как будущие нейроны того или иного общего типа.

2.  Клетки детерминированного участка начинают делиться.

3.  Эти клетки мигрируют к местам их промежуточного и окончательного назначения.

4.  Достигнув места своей окончательной локализации, все еще незрелые нейроны начинают собираться в группы, из которых позже разовьются “ядра” взрослой нервной системы.

5.  Эмбриональные нейроны, образующие скопления, перестают делиться и начинают формировать соединительные отростки.

6.  Это приводит к раннему образованию связей, обеспечивает возможность синтеза и выделения нейромедиаторов.

7.  В конце концов “правильные связи” стабилизируются, а клетки, связи которых оказались “неудачными” или слишком малочисленными, умирают.

8.  После того, как общее число нейронов стабилизировалось, происходят незначительные изменения в соответствии с функциональной нагрузкой тех или иных систем.

15.2. Типы естественных нейронных сетей. Существуют три генетически детерминированных типа естественных нейронных сетей:

1.  Иерархические сети.

2.  Локальные сети.

3.  Дивергентные сети с одним входом.

Так в зрительной системе вначале имеется дивергенция входного сигнала, что повышает вероятность его обнаружения. Затем в результате последовательной конвергенции обеспечивается обобщение зрительных образов.

15.3. Кора головного мозга. Особый интерес представляет строение коры головного мозга. Здесь основной особенностью является образование вертикальных ансамблей или колонок, которые охватывают все слои коры снизу доверху. Сенсорные системы, идущие от одного и того же участка возбуждают группу нейронов, расположенную по вертикали. Вертикальные колонки нейронов более или менее сходного типа распространены по всей коре больших полушарий, хотя размеры и плотность клеток в них варьируются. Информация, с которой имеют дело кортикальные колонки, - зрительная для зрительной коры, тактильная для тактильной, слуховая для слуховой и так далее, конечно уже была подвергнута частичной переработке первичными воспринимающими интегрирующими центрами. Результаты деятельности одной корковой колонки с помощью специфических внутрикортикальных синаптических связей передаются затем другой колонке для дальнейшей переработки данных.

Любая корковая колонка содержит примерно одинаковое число клеток-100 или около того, будь то мозг крысы или даже человека. Большие способности отдельных особей внутри вида с определенным строением коры обусловлены большим числом колонок в коре и нервных волокон, связывающих их между собой внутри отдельных корковых зон. Всюду в мозге реализуется параллельная обработка информации как один из основных принципов функционирования.

15.4. Физические аналогии. Статистический подход можно применить к процессам роста нейронных сетей как явлению самоорганизации, а также к процессу их функционирования. В обоих случаях мы имеем дело с кинетикой распределенной нелинейной системы. Кинетическое уравнение, описывающее обучение, есть уравнение диффузии в пространстве параметров нейронной сети. Наиболее важными для описания скорости обучения системы в диффузионной модели являются точки минимумов и точки перевалов. Их картирование открывает возможность построения более эффективных алгоритмов обучения. В диффузионной модели можно проследить как релаксацию системы вблизи решения, так и эволюцию системы в целом на больших временах.

Физические аналогии позволяют дать новую интерпретацию уже известным в теории нейронных сетей явлениям, а также указать некоторые новые явления и алгоритмы обучения. В частности, предложен метод продувки, который не обладает недостатками метода моментов, а также показан пульсационный характер обучения в столбчатых структурах. Сочетание структурных особенностей естественных нейронных сетей в искусственных аналогах и статистического описания их функционирования является полезным инструментом, дополняющим уже найденные и эффективно работающие алгоритмы анализа и обучения сложных искусственных нейронных сетей.

Библиографический список

1.  Люгер Дж. Ф. Искусственный интеллект. М.: Издательский дом «Вильямс», 2005. – 864с.

2.  Основные концепции нейронных сетей. М.: Издательский дом «Вильямс», 2001. – 287с.

3.  , искусственные нейронные сети. М.: Горячая линия - Телеком, 2001. – 382с.

4.  Нейронные сети для обработки информации. М.: Финансы и статистика, 2002. – 344с.

5.  , Потемкин сети. Матлаб 6. М.: Диалог МИФИ, 2002. – 496с.

6.  Нейронные сети. STATISTICA Neural Networks. М.: Горячая линия - Телеком, 2001. – 182с.

7.  Нейрокомпьютерная техника: Теория и практика. (Интернет).

8.  , , Слесарев сети и их приложения. М.: МЭИ, 2002. – 95с.

9.  , MATLAB 6.5 SP1/7/7 SP1/7 SP2 Simulink 5/6. Инструменты искусственного интеллекта и биоинформатики. М.: СОЛОН-ПРЕСС, 2006. – 456с.

Часть I. Искусственные нейронные сети

Глава 1. Искусственный интеллект: истоки и содержание проблемы

1.1. Общие представления

1.2. Экспертные системы

1.3. Понимание естественных языков и семантичeскoе моделирование

1.4. Языки реализации ИИ

1.5. Машинное обучение

1.6. Искусственный интеллект и философия

1.7. Нейронные сети и генетические алгоритмы

1.8. Искусственный интеллект – некоторые выводы

Глава 2. Нейрофизиологические данные об обработки информации в биологических системах 2.1. Физиологические основы мышления 2.2. Работа нейронов и нейронных цепей 2.3. Строение коры человеческого мозга 2.4. Сознательная деятельность 2.5. Афферентный синтез и теория функциональных систем

Глава 3. Идея и реализация искусственного нейрона

3.1. Искусственный нейрон

3.2. Виды функции активации

3.3. Нейронные сети

3.4. Представимость данных и отображения

Глава 4. Многослойный персептрон (MLP)

4.1.Линейный персептрон

4.2. Алгоритм обратного распространения ошибки

4.3. Алгоритм вычисления весов нейронов

4.4. Градиентные методы обучения и метод наискорейшего спуска

Глава 5. Радиальные нейронные сети

5.1. Функция Дирака

5.2. Приближение радиальными функциями

5.3. Обучение сети радиального типа

5.4. Выбор центров

Глава 6. Сети Хопфилда

6.1. Структура сети

6.2. Обучение сети Хопфилда

6.3. Энергетический подход

Глава 7. Сети Хэмминга

7.1. Распознающая сеть

7.2. Расстояние или мера Хемминга

7.3. Обучение сети

Глава 8. Двунаправленная ассоциативная память

или сеть Коско (ДАП)

8.1. Ассоциативность памяти.

8.2. Двунаправленная ассоциативная память

8.3. Распознавание ассоциативных образов

Глава 9. Сети Кохонена

9.1. Самоорганизующиеся топологические карты

9.2. Данные и нейроны

9.3. Самообучение сетей Кохонена

9.4. Последовательность алгоритма Кохонена

Глава 10. Сети адаптивной резонансной теории (ART-сети)

10.1.Долговременная память

10.2. Сети и алгоритмы ART

10.3. Схема сети ART

10.4. Слой распознавания

10.5. Теоремы ART

Глава 11. Когнитрон и неокогнитрон

11.1. Когнитрон и строение зрительной коры мозга

11.2. Конкуренция возбуждения и торможения

11.3. Обучение и работа когнитрона

11.4. Неокогнитрон

Глава 12. Обучение как случайный процесс

12.1. Обучение как случайное блуждание

12.2. Прохождение критических точек

12.3. Диффузионное уравнение

Глава 13. Статистический подход к обучению нейронных сетей. Машина Больцмана и ее модификации

13.1. Статистическая механика

13.2. Алгоритм машины Больцмана

Глава 14. Особенности моделирования искусственных нейронных сетей в системе MatLab

14.1. Особенности системы MatLab

14.2. Сеть Хопфилда

14.3. Линейный персептрон

14.4. Сеть радиальных функций

14.5. Сеть Кохонена

Глава 15. Некоторые итоги и перспективы развития искусственных нейронных сетей

15.1. Использование особенностей работы мозга

15.2. Типы естественных нейронных сетей

15.3. Кора головного мозга

15.4. Физические аналогии