Нейробиологическое обоснование модели (стр. 3 )

Сначала решим вопрос: какую колонку, из множества других колонок, подкреплять?

Для того, чтобы ответить на этот вопрос нам придется изменить логику подключения колонок к модальностям и добавить по одному сигнальному нейрону на выход каждой колонки. Выше мы показали мультимодальное подключение колонок (рис.9 и 10), и для простых задач этого бывает достаточно. Но в сложных задачах мультимодальное подключение целесообразно производить на более высоком уровне, поэтому колонки первого уровня мы должны подключить мономодально, но использовать при этом все субмодальные связи одной модальности, применяя принцип дихотомичности или парности связей двух субмодальностей, описанный выше. Проще говоря, разделить корковые представления сенсорных полей различных модальностей. (рис.11)

m1

 

 

mi

 

m1

 

 

mi

 

m1

 

 

mi

рис.10

Схема связей между колонками одного модуля

- сигнальный нейрон с бимодальным синапсом.

Но сначала добавим сигнальный нейрон на выходе колонки. Для чего он нужен? Так как нейроны в колонках не могут быть все время в активном состоянии из-за особенностей нейрохимического проведения импульса, то можно предположить, что они последовательно активируются волной активности, которая активирует их, пробегая последовательно по всем колонкам. Какую колонку в данный момент необходимо подкрепить, если пришел сигнал подкрепления? По правилу подкрепления, изложенному выше, подкрепляется та колонка, которая имеет активный выходной нейрон. Но если это новый образ, и в колонках нет активных выходных нейронов, тогда подкрепляется колонка, свободная от образов, то есть та, которая никогда не подкреплялась. Но как отличить ее от неактивных колонок, которые уже хранят в себе какой либо образ?

Для этого нужен сигнальный нейрон. Он будет указывать на колонку, которая еще не содержит никакого образа. Но тогда этот нейрон должен выполнять три функции:

1.  Разрешать модификацию синапсов в колонке, если выходной нейрон активен.

2.  Не разрешать модификацию синапсов в колонке, если выходной нейрон не активен, но колонка уже содержит какой либо образ в виде набора синаптических весов.

3.  Разрешать модификацию синапсов в колонке, если в данном модуле нет активных колонок и эта колонка не содержит синаптический слепок какого либо предыдущего образа.

Что же это за нейрон? Возможно, таким противоречивым действием может обладать нейрон множественного действия, открытый Гарднером в 1971 году и детально исследованном Кенделом в 1972 году на симметричных буккальных ганглиев аплизии. Во всех этих ганглиях один и тот же пресинаптический нейрон может воздействовать и на тормозные, и на возбуждающие рецепторы постсинаптических клеток. Как такое может быть? Дело в том, что многие постсинаптические клетки в этих ганглиях имеют два типа рецепторов для АХ, так что один и тот же пресинаптический нейрон может оказывать на них и возбуждающее, и тормозное действие.

Исходя из этих фактов можно сделать предположение, что описанный Кенделом пресинаптический нейрон множественного действия, это миф. На самом деле, все описанные эффекты реализуются постсинаптическим нейроном, имеющим два типа рецепторов к АХ. Но самое интересное то, что постсинаптический нейрон каким то образом знает, какой из этих двух синапсов активировать в данный момент…

Таблица №1

Реакции сигнального нейрона на входные сигналы:

	Пустая колонка (без образа)	Активная колонка	Неактивная колонка
Синапс	_	+	_
Синапс +	+	+	_
Синапс -	_	_	+
Аксон	+	+	-

Здесь + - возбуждающий синапс сигнального нейрона, - - тормозной синапс сигнального нейрона. (рис.10)

Колонки внимания

Теперь рассмотрим вопрос о так называемых колонках внимания. Из предыдущих выкладок следует, что такие колонки должны присутствовать в системе, иначе мы опять придем к идее гомункулуса, который выдает колонкам сигнал на подкрепление.

Если исходить из логики предыдущих выкладок, то подкрепляющих сигналов должно быть столько, сколько должно быть уровней подкрепления в системе и они должны быть независимы друг от друга.

В настоящий момент мы имеем два уровня подкрепления. Первый уровень – это субмодальные рефлексы, второй – полимодальные. (рис.11)

Если мы примем за уровень первого порядка колонки субмодальных рефлексов, тогда смысл подкрепления должен сводиться к тому, чтобы подкреплять условнорефлекторные сочетания внутри субмодальностей, но только те, которые действительно достоверно сочетаются во внешенм мире.

Из этого условия следует и схема колонки. В принципе, структурно, она не должна отличаться от предыдущих колонок. Но у нее несколько другие правила модификации синапсов. Во первых, она должна отслеживать достоверные совпадения между определенными значениями различных субмодальностей, и в определенный период подавать подкрепляющий сигнал на колонки первого уровня. Во вторых, она должна забывать о предыдущих коррелятах после сигнала подкрепления, и быть готовой вновь внимательно следить за окружающей средой, с целью выявить новые корреляты.

После того, как сформированы субмодальные множества, приходит черед формировать полимодальные…

Полимодальные множества первого уровня еще не совсем абстрактны. Хотя в урезанных технических системах это будет конечный и решающий слой. Но если следовать логике, и идти дальше, то мы с неизбежностью приходим к колонкам принятия решений.

Колонки принятия решений

Структурно, они идентичны колонкам первого субмодального уровня. Но правила модификации синапсов несколько иные.

Во первых, впервые в них реализована в полную силу функция реализации задержки между условным стимулом и подкреплением. То есть в этом модуле присутствуют колонки, реагирующие и устанавливающие условнорефлекторную связь с разными промежутками времени. И колонки, имеющие больший промежуток времени срабатывания, имеют больший приоритет при взаимодействии с мотонейронами. Входным сенсорным множеством для этих колонок служат выходы колонок полимодальных образов высшего порядка для данной системы.

Целеполагание и воля.

Но для того, чтобы колонки принятия решений нормально функционировали, необходимо изначально задать базовые функции смысла существования системы. Ее низшие инстинкты и высшие цели. Они в конечном итоге и определяют, будет ли положительное или отрицательное подкрепление осуществлено при входных сигналах с разным интервалом времени. Естественно, для различных технических систем, эти цели будут различны, но мы ведь проектируем универсальную систему, в которую можно заложить любые цели ее существования.

Поэтому универсальный подход, универсальная архитектура, но разные правила модификации и подкрепления различных структур и дадут нужный результат.

Рис.11

Связь субмодальных и полимодальных рефлексов.

- модальности, - колонки одной из модальностей, - циклическая волна переключений между колонками.

16.05.2008г.

Механизм торможения в колонках при обучении.

(Взаимное торможение между колонками.)

Архитектура, описанная выше, обладает одним существенным недостатком. При обучении происходит ложное усиление одних синапсов и ложное ослабление других. Чем это вызвано? Отсутствием торможения. (Отсутствием взаимного торможения между колонками.) Для чего необходимо (взаимное) торможение? Допустим (раз основная единица архитектуры описываемой сети является УР), что на один из ассоциативных нейронов в одной из колонок приходит 5 сигналов подкрепления при появлении сигнала на постсинаптической мембране одного из дендритов и 5 раз сигнал подкрепления не приходит на этот нейрон при появлении сигнала на постсинаптической мембране этого же дендрита. А в другой колонке на аналогичный ассоциативный нейрон приходит 3 сигнала подкрепления и всегда отсутствует сигнал на постсинаптической мембране при отсутствии сигнала подкрепления. Вопрос: вес какого синапса должен быть больше?

В архитектуре, где отсутствует (взаимное) торможение в колонках, наибольший вес получит нейрон, на который пришло 5 подкрепляющих сигнала. Но ведь вероятность предсказательного эффекта выше у нейрона другой колонки, на который пришло всего 3 подкрепляющих сигнала.

То есть у первой колонки (где 5 подкрепляющих сигнала) вероятность наступления события А+Б равняется 50%, а у второй (где 3 подкрепляющих сигнала) вероятность наступления события А+Б равняется 100%. То есть для того, чтобы повысить шансы на предсказание события А+Б, должен существовать механизм торможения, который бы пропорционально снизил вес синапса нейрона в первой колонке.

То, что это торможение может быть реализовано только в самой колонке верится с трудом. Допустим, что в колонке присутствует тормозящий нейрон, который активируется в отсутствии сигнала подкрепления в данной колонке и появлении сигнала на постсинаптической мембране и снижает чувствительность последней. Может при обучении такой механизм и сработает, но как быть при распознавании события А+Б? Блокировать тормозящий нейрон? В обычных компьютерных программах эти события разведены во времени, а в реальных параллельных системах и обучение и распознавание происходят одновременно. Хотя здесь тоже могут быть варианты со сном, правым и левым полушарием, но сути вопроса это не меняет.

Единственный механизм, который снимает это противоречие - взаимное торможение колонок. Теоретически, он может выглядеть так: при появлении сигнала подкрепления на ассоциативном нейроне в одной из колонок, этот нейрон выделяет, или внесинаптический тормозящий фактор, который влияет на активные синапсы других нейронов в других колонках, где нет сигнала подкрепления, или ослабляет чувствительность постсинаптической мембраны тех синапсов нейронов в других колонках, где происходит выброс нейромедиатора (нейромодулятора), с помощью тормозящих синапсов напрямую.

Этот механизм позволяет ослабить случайные совпадения между событиями А и Б и подкрепляющим сигналом, и усилить более вероятные совпадения.

Может быть, здесь кроются системные различия между нейромедиатором и нейромодулятором?

Допустим, при отсутствии подкрепляющего сигнала в колонках определенного типа происходит процесс обычного распознавания, без модификации синапсов, тогда здесь работают нейромедиаторы. При появлении сигнала подкрепления (обучения) на нейроне в одной из колонок, активируется механизм, который с помощью нейромодуляторов и производит пластические изменения в синапсах?

В биологических системах, этот механизм, по-видимому, реализуется несколькими разными способами, а при моделировании его на компьютере потребуется добавить всего несколько строк кода.

Из всего вышесказанного вытекает еще одно правило модификации синапса:

«При увеличении веса в активированных синапсах колонки, к которой приложен сигнал подкрепления, в других аналогичных колонках происходит уменьшение веса активированных синапсов.»

Теоретическим дополнением к вышесказанному механизму, может служить то, что при появлении подкрепляющего фактора (не важно какого – внесинаптического или синаптического), в активные синапсы данной колонки выбрасывается нейромодулятор, который и изменяет чувствительность постсинаптической мембраны, а там где нет фактора подкрепления – нейромодулятора в активных синапсах нет.

Хотя могут быть два типа нейромодуляторов: одни усиливают чувствительность постсинаптической мембраны, а другие понижают, тогда возникает еще один механизм: «в активные синапсы активной колонки выбрасывается нейромодулятор, усиливающий чувствительность постсинаптической мембраны к нейромедиатору, а в активных синапсах неактивной колонки нейромодуляторы ослабляют чувствительность постсинаптической мембраны к нейромедиатору.»

По-видимому, разнообразие нейромедиаторов и нейромодуляторов и обусловлено такими механизмами.

Активная колонка: Колонка, к которой приложен положительный сигнал подкрепления.

Неактивная колонка: Колонка, к которой приложен отрицательный сигнал подкрепления.

Пассивная колонка: Колонка, в которой отсутствует сигнал подкрепления.

Пустая колонка: Колонка, у которой отсутствует история подкрепления.

Активный синапс: синапс, у которого в синаптической щели присутствует нейромедиатор. Активный синапс в колонке бывает только при распознавании, когда отсутствует сигнал подкрепления в других колонках. Термин активный синапс употребляется в данном контексте и тогда, когда говорят о выбросе нейромедиатора в синаптическую щель.

Положительно активированный синапс: синапс, в синаптической щели которого присутствует нейромедиатор плюс нейромодулятор, пластически изменяющий чувствительность постсинаптической мембраны в сторону повышения.

Отрицательно активированный синапс: синапс, в синаптической щели которого присутствует нейромедиатор плюс нейромодулятор, пластически изменяющий чувствительность постсинаптической мембраны в сторону понижения.

Неактивированный синапс: синапс, имеющий историю активации, но в данный момент в синаптической щели отсутствует нейромедиатор, но может присутствовать нейромодулятор с разным знаком воздействия на постсинаптическую мембрану.

Неактивный синапс: синапс, не имеющий истории активации.

История активации синапса: история активации синапса предполагает хотя бы однократное отрицательное или положительное воздействия нейромодулятора на постсинаптическую мембрану.

Таблица №2 Сводная таблица

	нейромедиатор	нейромодулятор	подкрепление	модификация постсинаптической мембраны	реакция пост- синаптического нейрона
активный синапс	+				+
положительно активированный синапс	+	+	+	повышение чувствительности	+
отрицательно активированный синапс	+	-	-	понижение чувствительности
неактивированный синапс		+ или -
неактивный синапс

Таблица №3 Активная колонка

(обучение)

	нейромедиатор	нейромодулятор	подкрепление	модификация постсинаптической мембраны	реакция пост- синаптического нейрона
положительно активированный синапс	+	+	+	повышение чувствительности	+
неактивированный синапс		+
неактивный синапс

Таблица №4 Неактивная колонка

(забывание)

	нейромедиатор	нейромодулятор	подкрепление	модификация постсинаптической мембраны	реакция пост- синаптического нейрона
отрицательно активированный синапс	+	-	-	понижение чувствительности
неактивированный синапс		-
неактивный синапс

Таблица №5 Пассивная колонка

(распознавание)

	нейромедиатор	нейромодулятор	подкрепление	модификация постсинаптической мембраны	реакция пост- синаптического нейрона
активный синапс	+				+
неактивированный синапс		-
неактивный синапс

Таблица №6 Пустая колонка

(резерв)

	нейромедиатор	нейромодулятор	подкрепление	модификация постсинаптической мембраны	реакция пост- синаптического нейрона
неактивный синапс

Алгоритм обучения колонки

Алгоритм распознавания

Алгоритм принятия решения

Реализация задержки между условным стимулом и подкреплением

Подключение мотонейронов к колонке