Функциональные модели универсального нейрокомпьютера (стр. 26 )

Результаты численного эксперимента

№	Число химер, удаленных от ближайшего эталона на:	Число неверно распознанных векторов, удаленных от ближайшего эталона на:
	1	2	3	4	5	1	2	3	4	5
1	640	256	0	0	0	896	0	0	0	0
2	384	0	0	0	0	384	0	0	0	0
3	0	210	50	0	0	0	210	290	60	0
4	0	180	50	0	0	0	180	290	60	0
5	0	88	50	2	0	0	156	290	60	0
6	0	0	1120	13440	896	0	0	1120	13440	896
7	0	0	0	13440	896	0	0	0	13440	896

В случае n=10, k=1 (см. табл. 3 и 4, строка 1) при валентностях 3 и 5 тензорная сеть работала как единичный оператор – все входные вектора передавались на выход сети без изменений. Однако уже при валентности 7 число химер резко сократилось и сеть правильно декодировала более 60% сигналов. При этом были правильно декодированы все векторы, удаленные от ближайшего эталона на расстояние 2, а часть векторов, удаленных от ближайшего эталона на расстояние 1, остались химерами. В случае n=10, k=2 (см. табл. 3 и 4, строки 3, 4, 5) наблюдалось уменьшение числа химер с ростом валентности, однако часть химер, удаленных от ближайшего эталона на расстояние 2 сохранялась. Сеть правильно декодировала более 50% сигналов. Таким образом при малых размерностях и кодах, далеких от совершенных, тензорная сеть работает довольно плохо. Однако, уже при n=15, k=3 и валентности, большей 3 (см. табл. 3 и 4, строки 6, 7), сеть правильно декодировала все сигналы с тремя ошибками. В большинстве экспериментов число эталонов было больше числа нейронов.

Подводя итог можно сказать, что качество работы сети возрастает с ростом размерности пространства и валентности и по эффективности устранения ошибок сеть приближается к коду, гарантированно исправляющему ошибки.

Доказательство теоремы

В данном разделе приведено доказательство теоремы о числе линейно независимых образов в пространстве k-х тензорных степеней эталонов.

При построении тензорных сетей используются тензоры валентности k следующего вида:

, (13)

где – n-мерные вектора над полем действительных чисел.

Если все вектора , то будем говорить о k-й тензорной степени вектора a, и использовать обозначение . Для дальнейшего важны следующие элементарные свойства тензоров вида (13).

1. Пусть и , тогда скалярное произведение этих векторов может быть вычислено по формуле

. (14)

Доказательство этого свойства следует непосредственно из свойств тензоров общего вида.

2. Если в условиях свойства 1 вектора являются тензорными степенями, то скалярное произведение имеет вид:

. (15)

Доказательство непосредственно вытекает из свойства 1.

3. Если вектора a и b ортогональны, то есть то и их тензорные степени любой положительной валентности ортогональны.

Доказательство вытекает из свойства 2.

4. Если вектора a и b коллинеарны, то есть , то .

Следствие. Если множество векторов содержит хотя бы одну пару противоположно направленных векторов, то система векторов будет линейно зависимой при любой валентности k.

5. Применение к множеству векторов невырожденного линейного преобразования в пространстве эквивалентно применению к множеству векторов линейного невырожденного преобразования, индуцированного преобразованием , в пространстве .

Сюръективным мультииндексом над конечным множеством L назовем k-мерный вектор, обладающий следующими свойствами:

1. для любого существует такое, что ;

2. для любого существует такое, что .

Обозначим через число компонент сюръективного мультииндекса равных i, через – число элементов множества L, а через – множество всех сюръективных мультииндексов над множеством L.

Предложение 1. Если вектор a представлен в виде где – произвольные действительные коэффициенты, то верно следующее равенство

(16)

Доказательство предложения получается возведением в тензорную степень k и раскрытием скобок с учетом линейности операции тензорного умножения.

В множестве , выберем множество X следующим образом: возьмем все (n-1)-мерные вектора с координатами ±1, а в качестве n-й координаты во всех векторах возьмем единицу.

Предложение 2. Множество X является максимальным множеством n-мерных векторов с координатами равными ±1 и не содержит пар противоположно направленных векторов.

Доказательство. Из равенства единице последней координаты всех векторов множества X следует отсутствие пар противоположно направленных векторов. Пусть x – вектор с координатами ±1, не входящий в множество X, следовательно последняя координата вектора x равна минус единице. Так как в множество X включались все (n-1)-мерные вектора с координатами ±1, то среди них найдется вектор, первые n-1 координата которого равны соответствующим координатам вектора x со знаком минус. Поскольку последние координаты также имеют противоположные знаки, то в множестве X нашелся вектор противоположно направленный по отношению к вектору x. Таким образом множество X максимально.

Таким образом в множестве X содержится ровно вектор. Каждый вектор можно представить в виде , где . Для нумерации векторов множества X будем использовать мультииндекс I. Обозначим через число элементов в мультииндексе I. Используя введенные обозначения можно разбить множество X на n непересекающихся подмножеств: , .

Теорема. При в множестве линейно независимыми являются векторов.

Для доказательства этой теоремы потребуется следующая интуитивно очевидная, но не встреченная в литературе лемма.

Лемма. Пусть дана последовательность векторов

таких, что при всех и при всех i, тогда все вектора множества линейно независимы.

Доказательство. Известно, что процедура ортогонализации Грама приводит к построению ортонормированного множества векторов, а все вектора линейно зависящие от предыдущих векторов последовательности обращаются в нулевые. Проведем процедуру ортогонализации для заданной последовательности векторов.

1.

2. . Причем , так как , и .

...

j. . Причем , так как , при всех , и .

...

Доказательство теоремы. Произведем линейное преобразование векторов множества X с матрицей . Легко заметить, что при этом преобразовании все единичные координаты переходят в единичные, а координаты со значением -1 в нулевые. Таким образом . По пятому свойству заключаем, что число линейно независимых векторов в множествах X и Y совпадает. Пусть . Докажем, что при содержит компоненту, ортогональную всем . Из предложения 1 имеем

. (17)

Представим (17) в виде двух слагаемых:

(18)

Обозначим первую сумму в (18) через . Докажем, что ортогонален ко всем , и второй сумме в (18). Так как , существует . Из свойств сюръективного мультииндекса следует, что все слагаемые, входящие в содержат в качестве тензорного сомножителя , не входящий ни в одно тензорное произведение, составляющие в сумме . Из свойства 2 получаем, что . Аналогично, из того, что в каждом слагаемом второй суммы следует ортогональность каждому слагаемому второй суммы в (18) и, следовательно, всей сумме.

Таким образом содержит компоненту ортогональную ко всем и . Множество тензоров удовлетворяет условиям леммы, и следовательно все тензоры в линейно независимы. Таким образом, число линейно независимых тензоров в множестве не меньше чем .

Для того, чтобы показать, что число линейно независимых тензоров в множестве не превосходит этой величины достаточно показать, что добавление любого тензора из Y к приводит к появлению линейной зависимости. Покажем, что любой при может быть представлен в виде линейной комбинации тензоров из . Ранее было показано, что любой тензор может быть представлен в виде (17). Разобьем (17) на три суммы:

(19)

Рассмотрим первое слагаемое в (19) отдельно.

.

Заменим в последнем равенстве внутреннюю сумму в первом слагаемом на тензоры из:

. (20)

Преобразуем второе слагаемое в (19).

(21)

Преобразуя аналогично (21) второе слагаемое в (20) и подставив результаты преобразований в (19) получим

(22)

В (22) все не замененные на тензоры из слагаемые содержат суммы по подмножествам множеств мощностью меньше k. Проводя аналогичную замену получим выражение, содержащее суммы по подмножествам множеств мощностью меньше k-1 и так далее. После завершения процедуры в выражении останутся только суммы содержащие вектора из , то есть будет представлен в виде линейной комбинации векторов из . Теорема доказана.

10.  Заключение

В работе получены следующие основные результаты:

1.  Разработана функциональная модель идеального нейрокомпьютера. Определены принципы выделения функциональных компонентов. Произведена декомпозиция нейрокомпьютера на функциональные компоненты в соответствии с предложенными принципами.

2.  Разработан принцип построения нового типа оценок, названный эффективной функцией оценки. Эффективность предложенного типа оценок состоит в том, что их использование позволяет ускорить обучение нейронной сети, оценить уровень уверенности нейронной сети в полученном ответе, обучить с малой надежностью сеть решению тех задач, которые сеть данной архитектуры не может решить с высокой надежностью, учесть при обучении различие в достоверности ответов в разных примерах.

3.  Разработан метод получения явных знаний из данных с помощью логически прозрачных нейронных сетей, получаемых из произвольных обученных сетей специальной процедурой контрастирования. Этот метод позволяет получить явные зависимости выходных сигналов нейронной сети от входных. При решении задач классификации в большинстве случаев удается получить логический вывод.