Функциональные модели универсального нейрокомпьютера (стр. 9 )

Сигмоидная предобработка. В сигмоидной предобработке может использоваться любая сигмоидная функция. Если в качестве сигмоидной функции использовать функцию , приведенную в разделе «Нейрон» этой главы, то формула (17) примет следующий вид:

.

Графики функций представлены на рис. 2б. Видно, что с увеличением значения признака ни одна функция не убывает, а их сумма возрастает. В табл. 9 представлены значения этих функций для двух точек .

Шапочная предобработка. Для шапочной предобработки используются любые функции, имеющие график в виде «шапочки». Например, функция . Графики функций представлены на рис. 2в. Видно, что с увеличением значения признака ни одна из функций , ни их сумма не ведут себя монотонно. В табл. 9 представлены значения этих функций для двух точек .

3.1.13.  Позиционная предобработка

Основная идея позиционной предобработки совпадает с принципом построения позиционных систем счисления. Зададимся положительной величиной такой, что . Сдвинем признак так, чтобы он принимал только неотрицательные значения. В качестве сигналов сети будем использовать результат простейшей предобработки -ичных цифр представления сдвинутого признака . Формулы вычисления цифр приведены ниже:

(19)

где операция сравнения по модулю действительного числа определена в (15). Входные сигналы сети получаются из компонентов вектора путем простейшей предобработки.

Составной предобработчик

Поскольку на вход нейронной сети обычно подается несколько входных сигналов, каждый из которых обрабатывается своим предобработчиком, то предобработчик должен быть составным. Представим предобработчик в виде совокупности независимых частных предобработчиков. Каждый частный предобработчик обрабатывает одно или несколько тесно связанных входных данных. Как уже отмечалось ранее, предобработчик может иметь один из четырех типов, приведенных в табл. 10. На входе предобработчик получает вектор входных данных (возможно, состоящий из одного элемента), а на выходе выдает вектор входных сигналов сети (так же возможно состоящий из одного элемента).

Таблица 10. Типы предобработчиков

Тип	Описание
Number	Предобрабатывает числовые входные данные
Unordered	Предобрабатывает неупорядоченные качественные признаки
Ordered	Предобрабатывает упорядоченные качественные признаки
Binary	Обрабатывает бинарные признаки

Необходимость передачи предобработчику вектора входных данных и получения от него вектора входных сигналов связана с тем, что существуют предобработчики получающие несколько входных данных и выдающие несколько входных сигналов. Примером такого предобработчика может служить предобработчик, переводящий набор координат планеты из сферической в декартову.

Для качественных признаков принято кодирование длинными целыми числами. Первое значение равно 1, второе – 2 и т. д. Числовые признаки кодируются действительными числами.

Запросы к компоненту предобработчик

Запросы к компоненту предобработчик можно разбить на пять групп:

1.  Предобработка.

2.  Изменение параметров.

3.  Работа со структурой.

4.  Инициация редактора предобработчика.

5.  Обработка ошибок.

Поскольку нейрокомпьютер может работать одновременно с несколькими сетями, то и компонент предобработчик должна иметь возможность одновременной работы с несколькими предобработчиками. Поэтому большинство запросов к предобработчику содержат явное указание имени предобработчика. Ниже приведено описание всех запросов к компоненту предобработчик. Каждый запрос является логической функцией, возвращающей значение истина, если запрос выполнен успешно, и ложь – при ошибочном завершении исполнения запроса.

В запросах второй и третьей группы при обращении к частным предобработчикам используется следующий синтаксис:

<Полное имя частного предобработчика> ::= <Имя предобработчика>.

<Псевдоним частного предобработчика> [[<Номер экземпляра>]]

При вызове ряда запросов используются предопределенные константы. Их значения приведены в табл. 11.

Таблица 11.

Значения предопределенных констант компонента предобработчик

Название	Значение	Значение
BinaryPrep	0	Стандартный предобработчик бинарных признаков
UnOrdered	1	Стандартный предобработчик неупорядоченных качественных признаков
Ordered	2	Стандартный предобработчик упорядоченных качественных признаков.
EmptyPrep	3	Стандартный простейший предобработчик
ModPrep	4	Стандартный модулярный предобработчик
FuncPrep	5	Стандартный функциональный предобработчик
PositPrep	6	Стандартный позиционный предобработчик
UserType	-1	Предобработчик, определенный пользователем.

3.1.14.  Запрос на предобработку

Единственный запрос первой группы выполняет основную функцию компонента предобработчик – предобрабатывает входные данные, вычисляя вектор входных сигналов.

3.1.14.1.  Предобработать вектор сигналов (Prepare)

Описание запроса:

Pascal:

Function Prepare(CompName : PString; Data : PRealArray; Var Signals : PRealArray) : Logic;

C:

Logic Prepare(PString CompName, PRealArray Data; PRealArray* Signals)

Описание аргумента:

CompName – указатель на строку символов, содержащую имя предобработчика.

Data – массив входных данных.

Signals – вычисляемый массив входных сигналов.

Назначение – предобрабатывает массив входных данных Data, вычисляя массив входных сигналов Signals используя предобработчик, указанный в параметре CompName.

Описание исполнения.

1.  Если Error <> 0, то выполнение запроса прекращается.

2.  Если в качестве аргумента CompName дан пустой указатель, или указатель на пустую строку, то исполняющим запрос объектом является текущий предобработчик – первый в списке предобработчиков компонента предобработчик.

3.  Если список предобработчиков компонента предобработчик пуст или имя предобработчика, переданное в аргументе CompName в этом списке не найдено, то возникает ошибка 201 – неверное имя предобработчика, управление передается обработчику ошибок, а обработка запроса прекращается.

4.  Производится предобработка предобработчиком, имя которого было указано в аргументе CompName.

5.  Если во время выполнения запроса возникает ошибка, то генерируется внутренняя ошибка 204 - ошибка предобработки. Управление передается обработчику ошибок. Выполнение запроса прекращается. В противном случае выполнение запроса успешно завершается.

3.1.15.  Остальные запросы

Ниже приведен список запросов к компоненту предобработчик, исполнение которых описано в разделе «Запросы общие для всех компонентов»:

prSetCurrent – Сделать предобработчик текущим

prAdd – Добавление нового предобработчика

prDelete – Удаление предобработчика

prWrite – Запись предобработчика

prGetStructNames – Вернуть имена структурных единиц предобработчика

prGetType – Вернуть тип структурной единицы предобработчика

prGetData – Получить параметры предобработчика

prGetName – Получить имена параметров предобработчика

prSetData – Установить параметры предобработчика

prEdit – Редактировать предобработчик

OnError – Установить обработчик ошибок

GetError – Дать номер ошибки

FreeMemory – Освободить память

В запросе prGetType в переменной TypeId возвращается значение одной из предопределенных констант, перечисленных в табл. 11.

3.1.16.  Ошибки компонента предобработчик

В табл. 12 приведен полный список ошибок, которые могут возникать при выполнении запросов компонентом предобработчик, и действия стандартного обработчика ошибок.

Таблица 12.

Ошибки компонента предобработчик и действия стандартного обработчика ошибок.

№	Название ошибки	Стандартная обработка
201	Неверное имя предобработчика	Занесение номера в Error
202	Ошибка считывания предобработчика	Занесение номера в Error
203	Ошибка сохранения предобработчика	Занесение номера в Error
204	Ошибка предобработки	Занесение номера в Error

4. Описание нейронных сетей

В первой части этой главы описана система построения сетей из элементов. Описаны прямое и обратное функционирование сетей и составляющих их элементов. Приведены три метода построения двойственных сетей и обоснован выбор самодвойственных сетей. Во второй части приведены примеры различных парадигм нейронных сетей, описанные в соответствии с предложенной в первой части главы методикой.

Как уже говорилось в первой главе, на данный момент в нейросетевом сообществе принято описывать архитектуру нейронных сетей в неразрывном единстве с методами их обучения. Эта связь не является естественной. Так, в первой части этой главы будет рассматриваться только архитектура нейронных сетей. Во второй части будет продемонстрирована независимость ряда методов обучения нейронных сетей от их архитектуры. Однако, для удобства, во второй части главы архитектуры всех парадигм нейронных сетей будут описаны вместе с методами обучения.

Нейронные сети можно классифицировать по разным признакам. Для описания нейронных сетей в данной главе существенной является классификация по типу времени функционирования сетей. По этому признаку сети можно разбить на три класса.

1.  Сети с непрерывным временем.

2.  Сети с дискретным асинхронным временем.

3.  Сети с дискретным временем, функционирующие синхронно.

В данной работе рассматриваются только сети третьего вида, то есть сети, в которых все элементы каждого слоя срабатывают одновременно и затем передают свои сигналы нейронам следующего слоя.

Конструирование нейронных сетей

Впервые последовательное описание конструирования нейронных сетей из элементов было предложено в книге [65]. Однако за прошедшее время предложенный способ конструирования претерпел ряд изменений.

При описании нейронных сетей принято оперировать такими терминами, как нейрон и слой. Однако, при сравнении работ разных авторов (например, [2. 25, 26, 30, 31, 33, 37, 45, 65, 66, 83, 122, 123, 126, 138, 145 – 147, 159, 182, 220, 221, 226, 227, 230, 231, 239, 248, 250, 264, 273 – 275, 280, 309, 312, 313, 338, 341, 345, 365, 367, 377]) выясняется, что если слоем все авторы называют приблизительно одинаковые структуры, то нейроны разных авторов совершенно различны. Таким образом, единообразное описание нейронных сетей на уровне нейронов невозможна. Однако, возможно построение единообразного описания на уровне составляющих нейроны элементов и процедур конструирования сложных сетей из простых.

4.1.1.  Элементы нейронной сети

Рис. 1 Простейшие элементы сети

На рис. 1 приведены все элементы, необходимые для построения нейронных сетей. Естественно, что возможно расширение списка нелинейных преобразователей. Однако, это единственный вид элементов, который может дополняться. Вертикальными стрелками обозначены входы параметров (для синапса – синаптических весов или весов связей), а горизонтальными – входные сигналы элементов. С точки зрения функционирования элементов сети сигналы и входные параметры элементов равнозначны. Различие между этими двумя видами параметров относятся к способу их использования в обучении. Кроме того, удобно считать, что параметры каждого элемента являются его свойствами и хранятся при нем. Совокупность параметров всех элементов сети называют вектором параметров сети. Совокупность параметров всех синапсов называют вектором обучаемых параметров сети, картой весов связей или синаптической картой. Отметим, что необходимо различать входные сигналы элементов и входные сигналы сети. Они совпадают только для элементов входного слоя сети.

Рис. 2. Построение сети из простейших элементов. 1 - слой синапсов S4 (4 синапса в слое). 2 - каскад-нейрон N4 (4 входных сигнала). 3 - слой точек ветвления SB(2,6) (2 входных сигнала, 6 - выходных). 4 - слой нейронов SN(2,4,2) (2 нейрона, по 4 входных сигнала у каждого нейрона, 2 выходных сигнала). 5 - каскад точек ветвления и нейронов K(4,2,4,2) (4 входных сигнала, 2 нейрона по 4 входных сигнала у каждого нейрона, 2 выходных сигнала каскада). 6 - сеть NW(4,2,3,1) (4 входных сигнала сети, 2 нейрона во входном слое, 3 нейрона в скрытом слое, 1 нейрон в выходном слое).

Из приведенных на рис. 1 элементов можно построить практически любую нейронную сеть. В соответствии с утверждениями теорем, приведенных в работах [36, 37, 57, 64, 70, 286], этих элементов достаточно, чтобы сколь угодно точно приблизить любую непрерывную функцию. Вообще говоря, нет никаких правил, ограничивающих свободу творчества конструктора нейронных сетей. Однако, есть набор структурных единиц построения сетей, позволяющий стандартизовать процесс конструирования. Детальный анализ различных нейронных сетей позволил выделить следующие структурные единицы:

1  элемент – неделимая часть сети, для которой определены методы прямого и обратного функционирования;

2  каскад – сеть составленная из последовательно связанных слоев, каскадов, циклов или элементов;

3  слой – сеть составленная из параллельно работающих слоев, каскадов, циклов или элементов;

4  цикл – каскад выходные сигналы которого поступают на его вход.

Очевидно, что не все элементы являются неделимыми. В следующем разделе будет приведен ряд составных элементов.

Введение трех типов составных сетей связано с двумя причинами: использование циклов приводит к изменению правил остановки работы сети, описанных в разд. "Правила остановки работы сети"; разделение каскадов и слоев позволяет эффективно использовать ресурсы параллельных ЭВМ. Действительно, все сети, входящие в состав слоя, могут работать независимо друг от друга. Тем самым при конструировании сети автоматически закладывается база для использования параллельных ЭВМ.

На рис. 2 приведен пример поэтапного конструирования трехслойной сигмоидной сети.

4.1.2.  Составные элементы

Название «составные элементы» противоречит определению элементов. Это противоречие объясняется соображениями удобства работы. Введение составных элементов преследует цель упрощения конструирования. Как правило, составные элементы являются каскадами простых элементов.

Рис. 3. а)Фрагмент сети с обычными сумматорами б) Тот же фрагмент с квадратичными сумматорами из простых элементов. в)Тот же фрагмент с квадратичными сумматорами с использованием составного элемента - квадратичного сумматора.

Хорошим примером полезности составных элементов может служить использование сумматоров. В ряде работ [35, 53, 107, 127, 294] интенсивно используются сети, нейроны которых содержат нелинейные входные сумматоры. Под нелинейным входным сумматором, чаще всего понимают квадратичные сумматоры – сумматоры, вычисляющие взвешенную сумму всех попарных произведений входных сигналов нейрона. Отличие сетей с квадратичными сумматорами заключается только в использовании этих сумматоров. На рис. 3а приведен фрагмент сети с линейными сумматорами. На рис. 3б – соответствующий ему фрагмент с квадратичными сумматорами, построенный с использованием элементов, приведенных на рис. 1. На (рис. 3в) – тот же фрагмент, построенный с использованием квадратичных сумматоров. При составлении сети с квадратичными сумматорами из простых элементов на пользователя ложится большой объем работ по проведению связей и организации вычисления попарных произведений. Кроме того, рис. 3в гораздо понятнее рис. 3б и содержит ту же информацию. Кроме того, пользователь может изменить тип сумматоров уже сконструированной сети, указав замену одного типа сумматора на другой. На рис. 4 приведены обозначения и схемы наиболее часто используемых составных элементов.

Рис. 4. Обозначения и схемы часто используемых составных элементов

Необходимо отметить еще одну разновидность сумматоров, полезную при работе по конструированию сети – неоднородные сумматоры. Неоднородный сумматор отличается от однородного наличием еще одного входного сигнала, равного единице. На рис. 4г приведены схема и обозначения для неоднородного адаптивного сумматора. В табл. 1 приведены значения, вычисляемые однородными и соответствующими им неоднородными сумматорами.

4.1.3.  Функционирование сети

Таблица 1 Однородные и неоднородные сумматоры

Название	Однородный сумматор	Неоднородный сумматор
	Обозначение	Значение	Обозначение	Значение
Обычный	S		S+
Адаптивный	A		A+
Квадратичный	Q		Q+

Прежде всего, необходимо разделить процессы обучения нейронной сети и использования обученной сети. При использовании обученной сети происходит только решение сетью определенной задачи. При этом синаптическая карта сети остается неизменной. Работу сети при решении задачи будем далее называть прямым функционированием.

При обучении нейронных сетей методом обратного распространения ошибки нейронная сеть (и каждый составляющий ее элемент) должна уметь выполнять обратное функционирование. Во второй части этой главы будет показано, что обратное функционирование позволяет обучать также и нейросети, традиционно считающиеся не обучаемыми, а формируемыми (например, сети Хопфилда [316]). Обратным функционированием называется процесс работы сети, когда на вход двойственной сети подаются определенные сигналы, которые далее распространяются по связям двойственной сети. При прохождении сигналов обратного функционирования через элемент, двойственный элементу с обучаемыми параметрами, вычисляются поправки к параметрам этого элемента. Если на вход сети, двойственной к сети с непрерывными элементами, подается производная некоторой функции F от выходных сигналов сети, то вычисляемые сетью поправки должны быть элементами градиента функции F по обучаемым параметрам сети. Двойственная сеть строится так, чтобы удовлетворять этому требованию.

4.1.4.  Методы построения двойственных сетей

Пусть задана нейронная сеть, вычисляющая некоторую функцию (рис. 5а). Необходимо построить двойственную к ней сеть, вычисляющую градиент некоторой функции H от выходных сигналов сети. В книге «Обучение нейронных сетей» [65] предложен метод построения сети, двойственной к данной. Пример сети, построенной по методу , приведен на рис. 5б. Для работы такой сети необходимо, обеспечение работы элементов в трех режимах. Первый режим – обычное прямое функционирование (рис. 5а). Второй режим – нагруженное прямое функционирование (рис. 5б, верхняя цепочка). Третий режим – обратное функционирование.

При обычном прямом функционировании каждый элемент вычисляет выходную функцию от входных сигналов и параметров и выдает ее на выход в сеть для передачи далее.