M.В. КИСЕЛЕВ

Интеллидженс», Москва

*****@***ru

ФОРМИРОВАНИЕ ПОЛИХРОННЫХ ГРУПП НЕЙРОНОВ –

НОСИТЕЛЕЙ КРАТКОВРЕМЕННОЙ ПАМЯТИ В

РЕЗУЛЬТАТЕ ЭВОЛЮЦИИ БОЛЬШИХ ИМПУЛЬСНЫХ

НЕЙРОННЫХ СЕТЕЙ

В работе рассматривается эволюционный процесс, приводящий к формированию в первоначально однородной и хаотической импульсной нейронной сети групп нейронов с частично синхронизированной активностью (т. н. полихронных групп), которые не только распознают подаваемые на вход сети паттерны, но и сохраняют в своей активности информацию о предъявлении паттерна длительное время. Эти результаты достигнуты для очень простой модели нейрона – детектора совпадений и стандартной модели синаптической пластичности.

Ключевые слова: импульсные нейронные сети, кратковременная память, самоорганизация нейронной сети, полихронизация

Введение

Моделирование механизмов кратковременной памяти являлось темой ряда работ, опубликованных за последние два десятилетия. Например, в [1] рассматривалась реализация кратковременной памяти в виде постоянной активности циклических цепей нейронов. В работе [2] изучались вопросы устойчивости такой активности. В [3] рассматривалась реализация кратковременной памяти в терминах аттракторов (в частности, непрерывных множеств аттракторов). Там же изучалась возможность стабилизации этих аттракторов с помощью кратковременного потенцирования вовлеченных в процесс синаптических связей. Этот же механизм, но с большим упором на физиологическую реалистичность рассматривался в [4].

Эти и многие другие работы посвящены моделированию кратковременной памяти, так сказать, в ее данности – изучаются модели нейросетей с достаточно точно настроенной топологией, распределением синаптических весов, задержек и т. д. К тому же запоминание образов не связывается с их распознаванием – обычно предполагается, что сеть как-то уже настроилась давать точную реакцию на предъявляемые стимулы в виде активности некоего четко очерченного подмножества ее нейронов. Однако очевидно, что в случае больших сетей и сложной системы не очень четких паттернов никакая «ручная» настройка механизмов кратковременной памяти не подходит. Структуры, реализующие механизмы памяти и распознавания, должны возникать автоматически, в результате процесса эволюции нейросети из ее первоначального достаточно однородного состояния. Примеры таких эволюционных процессов были предложены в недавних работах [5, 6]. Тем не менее, описываемые в [5, 6] модели не вполне достигали поставленной цели. Хотя первоначальное распределение синаптических весов было случайным, сама сеть имела достаточно детально заданную структуру, имеющую вид комбинации слоев и колонок нейронов. И, самое главное, для запоминания одного индивидуального паттерна использовалось значительная специфическая для этого паттерна часть сети. Это приводило к нереалистично низкой информационной емкости сети.

НЕ нашли? Не то? Что вы ищете?

Для решения последней проблемы в работе [7] было предложено использовать т. н. эффект полихронизации нейронов в импульсных нейронных сетях – появление в сети групп нейронов, стабильно испускающих серии импульсов с очень точной временной задержкой друг относительно друга, но асинхронных по отношению к другим группам. Это дает возможность одному и тому же нейрону участвовать в активности разных полихронных групп. Даже если с каждой группой связан лишь один запоминаемый паттерн, информационная емкость большой сети может существенно превышать количество нейронов в ней. Однако, модель, описанная в [7], предлагая путь к достижению такой информационной емкости сети, никак не отвечает на другой важнейший вопрос – а как такая сеть учится распознавать запоминаемые паттерны, и как обеспечивается нужный уровень специфичности этого запоминания.

Целью настоящей работы было показать, как в большой импульсной нейронной сети, первоначально хаотичной и однородной, в результате эволюции, основанной на стандартной модели синаптической пластичности, зарождаются и развиваются полихронные группы, учащиеся распознавать и запоминать (в виде их длящейся во времени активности) подаваемые на вход сети пространственно-временные паттерны.

Нейрон – детектор совпадений

Одной из целей данного исследования было обеспечение максимальной общности и универсальности его результатов. Поэтому в качестве модели нейрона была выбрана очень простая, включающая только самые существенные и несомненные его свойства. Это было необходимо также для минимизации вычислительной сложности – эксперименты ставились с достаточно большими сетями, и их эволюция изучалась в течение долгого времени – до итераций пересчета состояния сети.

Одним из хрестоматийно известных свойств нейрона является то, что он ведет себя как детектор совпадений прихода пресинаптических импульсов. Он генерирует импульс в случае прихода нескольких импульсов на его возбуждающие синапсы в рамках достаточно узкого временного окна – порядка единиц миллисекунд (при отсутствии достаточного количества импульсов, поступивших в этот период на его тормозные синапсы). Для удобства примем это окно за 1 мс. Известно также, что кроме импульсов, индуцированных пресинаптическими сигналами, нейрон может генерировать импульс спонтанно.

Таким образом, шаг дискретного времени в наших экспериментах составляет 1 мс. За это время один нейрон может либо не испустить импульс, либо испустить спонтанный импульс (с некоторой постоянной вероятностью), либо испустить импульс, индуцированный пресинаптическими импульсами, поступившими в этот квант времени. Известно, что спонтанная активность нейронов может варьировать в очень широких пределах. Чтобы сделать этот элемент нашей модели заметным, но не доминирующим, мы выбрали интенсивность спонтанной активности равной 0.3 Hz. Индуцированный импульс генерируется на шаге времени t, если

, (1)

где wi – вес i-го возбуждающего синапса, At – множество возбуждающих синапсов, получивших импульс на шаге t, w- – вес тормозных синапсов (он одинаков для всех синапсов и не меняется со временем), – количество тормозных синапсов, получивших импульс на шаге t, T – пороговый мембранный потенциал. Значение T (= 8.5) и максимальные значения весов выбраны так, что для генерации постсинаптического импульса необходим приход на возбуждающие синапсы как минимум 5 импульсов от других нейронов (максимальный вес 2) или 3 импульсов от входных узлов сети, описанных в следующем разделе (максимальный вес 4), - при отсутствии тормозящих импульсов. Вес тормозных синапсов всегда выбирался равным 10 – необходимый баланс возбуждения и торможения достигался варьированием доли тормозящих нейронов в сети.

Передача импульсов от нейрона к нейрону происходит в нашей модели с задержками, лежащими в диапазоне 1 – 30 мс, что опять же близко к физиологическим значениям. Выбор этих задержек рассмотрен в следующем разделе.

Топология сети

В нашей модели нейронная сеть представляет собой совершенно однородную структуру. Среди нейронов сети некоторую часть (около 30 %) составляют тормозящие нейроны, соединенные с постсинаптическими нейронами только посредством тормозных синапсов. Остальные нейроны имеют только возбуждающие постсинаптические связи. Все нейроны имеют равные количества возбуждающих и тормозных синапсов. Кроме того, все нейроны имеют одинаковое количество связей (через возбуждающие синапсы) с информационными входами системы – источниками приходящих извне импульсов. Во всех экспериментах их было 900. В рамках данных ограничений множество пресинаптических нейронов и входных узлов выбиралось для каждого нейрона совершенно случайно. Аксон нейрона не может быть непосредственно соединен с синапсом того же нейрона.

Важным для получения желаемого результата является выбор задержек распространения импульсов между нейронами. Принципиальным является то, что задержки распространения тормозящих импульсов существенно меньше задержек возбуждающих импульсов, что соответствует физиологической реальности. Задержки тормозных связей выбирались случайным образом в соответствии с логнормальным законом распределения с параметрами ln(3) и 1. Проводились эксперименты и с другими видами распределений, но это мало сказалось на результатах. Зато выбор задержек возбуждающих связей внутри сети оказался очень важен, поэтому рассмотрим его подробнее. Основная мысль данной работы, как и [7], состоит в использовании полихронных групп как носителей кратковременной памяти. Однако, очевидно, что потенциальное количество полихронных групп в сетях с одним и тем же количеством нейронов существенно зависит от топологии сети и распределения синаптических задержек в ней. Действительно, полихронные группы обладают тем свойством, что в них много наборов достаточно коротких путей, ведущих от одного нейрона к другому, таких, что полное время распространения импульса по каждому пути из одного набора одинаково. Интуитивно ясно (и это подтверждается расчетами), что при полностью случайном распределении синаптических задержек таких наборов путей для двух случайно выбранных нейронов будет существенно меньше, чем для нейронов, организованных в некоторый пространственный порядок с выбором величины задержки пропорциональным расстоянию между связанными нейронами в этом пространстве. Эффективным с этой точки зрения является размещение нейронов на сфере (так что задержки пропорциональны сферическим расстояниям). Или на N-мерной гиперсфере. В наших экспериментах оптимальным оказалось размещение на 4-мерной гиперсфере. Максимальная задержка (т. е. задержка между диаметрально противоположными нейронами) была выбрана равной 30 мс. Задержки связей, идущих от входных узлов, были выбраны случайно – также на основе логнормального распределения с параметрами ln(15) и 3.

Эволюция сети за счет синаптической пластичности

Основным видом медленно меняющихся параметров нейрона, в терминах динамики которых описывается эволюция сети, являются веса возбуждающих синапсов. Использованные в описываемой нейросети законы синаптической пластичности соответствуют стандартной модели STDP (spike timing dependent plasticity) [8], предполагающей усиление (LTP) тех синапсов, которые приняли участие в генерации постсинаптического импульса, и ослабление (LTD) синапсов, получившие импульсы в течение небольшого периода после его генерации. В нашей несколько огрубленной модели усиливаются синапсы, получившие импульсы в тот же квант времени, в который был испущен постсинаптический импульс. Время, в течение которого действует LTD, выбрано равным 3 мс.

Так как, с одной стороны, синаптический вес не может беспредельно расти, а с другой – не может стать отрицательным, величина LTP и LTD должна зависеть от текущей величины веса. Чтобы учесть это соображение в [9] было предложено считать, что объектом уменьшения и увеличения является не сам синаптический вес w, а так называемый синаптический ресурс W, связанный с весом соотношением

. (2)

Очевидно, что . Для связей между нейронами wmin = 0. Для связей между входными узлами и нейронами wmin = 2. Это сделано для того, чтобы сеть ни при каких условиях не утратила хотя бы потенциальную возможность реагировать на входные сигналы.

Итак, действие LTP и LTD заключается в увеличении или уменьшении W на некоторую величину. Это означает, что синаптический ресурс определяет не только величину синаптического веса, но и его стабильность. Действительно, при отрицательных или больших положительных величинах W, он определяет не само значение w, а то, сколько раз должно быть применено, соответственно, LTP или LTD, чтобы значение w начало (существенно) меняться. При малых положительных W его изменение примерно равно изменению w. Величина его однократного изменения при LTP и LTD была равна 0.5.

Наконец, в ряде экспериментов был смоделирован еще один фактор, влияющий на синаптическую пластичность. Известно, что в проецирующихся в кору головного мозга афферентных связях часто роль медиатора играет глутамат. В тоже время, глутамат является не только нейромедиатором, но и веществом, модулирующим (точнее, увеличивающим) синаптическую пластичность [10]. Для того чтобы учесть этот факт, в состояние нейрона была введена величина концентрации глутамата, от которой линейно зависело изменение синаптических весов при LTP и LTD. Она увеличивалась на постоянную величину при приходе на нейрон импульса с входного узла, пока не достигала максимально возможного уровня, соответствующего максимальной пластичности (0.5 – см. выше), и экспоненциально уменьшалась с постоянной времени, равной 10 мс. Для достижения максимальной пластичности требовался одновременный приход на один нейрон, по крайней мере, 8 афферентных импульсов. Хотя желаемые результаты, которые будут рассмотрены ниже, достигались и без этого механизма, введение глутаматной модуляции пластичности приводило к значительному увеличению устойчивости полихронных групп – носителей кратковременной памяти.

Входной сигнал и мониторинг эволюции сети

В описываемой серии экспериментов входной сигнал состоял из случайной последовательности трех разных паттернов, подаваемых с интервалом в 1 сек, но так что одинаковые паттерны не могли идти один за другим. Каждый паттерн представлял собой повторяющуюся в течение 30 мс с периодом 16 мс последовательность импульсов на каждом из 300 входных узлов, соответствующих одному паттерну. Временные интервалы между импульсами на любой паре из этих 300 входных узлов были всегда одинаковыми и случайными – равномерно распределенными в интервале [0, 15], однако общее расположение во времени всей этой жестко связанной картины импульсов относительно начала паттерна было случайным для каждого нового предъявления паттерна – поэтому точные последовательности импульсов не были идентичными в разных предъявлениях одного паттерна.

В начальном состоянии ресурсы всех возбуждающих синапсов в сети были равны 0. Затем превалирующее действие LTP приводило к систематическому росту синаптических весов, пока этот процесс не уравновешивался с одной стороны LTD, а с другой стороны – выходом значений синаптического ресурса в область насыщения (где росла уже стабильность весов, а не сами веса). Для этого требовалось порядка тысячи предъявлений каждого паттерна.

В процессе эволюции сети отслеживалось формирование полихронных нейронных групп со специфичной для каждого паттерна активностью. Наш подход к выделению полихронных групп принципиально отличается от использованного в [7] – мы выделяли полихронные группы не на основе структурных свойств сети, а анализируя устойчивые последовательности генерации сигналов разными нейронами. Полихронная группа определяется последовательностью пар <номер нейрона, время генерации импульса>. Так как полихронные группы нейронов нас интересуют как носители кратковременной памяти, для их выявления будут использованы периоды 100-300 мс после начала каждого паттерна. Рассмотрим некоторый паттерн A. Обозначим PAi множество пар <номер нейрона, время после начала i-ого предъявления этого паттерна> (), соответствующих всем импульсам, сгенерированным нейронами на отрезке 100-300 мс от начала i-ого предъявления этого паттерна. Множество таких множеств, соответствующих паттерну A, обозначим PA = {PAi}.Тогда алгоритм выделения на истории активности сети PA полихронной группы с повторяемостью n (G(PA, n)) состоит из следующих шагов.

1.  Инициализируем единицами те элементы матрицы Cat, для которых , и нулями – все остальные.

2.  Последовательно для каждого , находим такой сдвиг s, для которого величина максимальна, увеличиваем на единицу те Cat, для которых .

3.  Если , то , иначе если - минимальное t, для которого , то

Нас интересуют только полихронные группы, специфичные для одного паттерна. Назовем активностью непустой полихронной группы G в отрезке истории сети PAi величину , где shift(G, s) получается из G добавлением ко вторым элементам пар из этого множества величины s. Тогда в качестве меры силы реакции полихронной группы G на предъявление паттерна A можно выбрать , а в качестве меры специфичности G(PA, n) - величину . Очевидно, что если реакция G(PA, n) на предъявление любого паттерна кроме A меньше, чем RA(G(PA, n)), то S(A, n) = 1. Чем чаще G(PA, n) показывает сильную реакцию на другие паттерны, тем меньше ее специфичность.

Эксперименты ставились следующим образом. Начиная с описанного выше начального состояния, запускалась эволюция сети, и мерились ее основные параметры – такие как средняя интенсивность генерации импульсов и сумма синаптических весов. Когда эти параметры переставали сильно систематически меняться (что интерпретировалось, как достижение сетью равновесного состояния) с помощью описанного выше алгоритма для разных A и n определялись G(PA, n) (по 30 последним предъявлениям каждого паттерна), их реакция на «свой» и «чужие» паттерны и специфичность. Результаты, полученные в этих экспериментах, описаны в следующем разделе.

Результаты

Целью проводимых экспериментов было показать возможность устойчивого формирования полихронных групп нейронов – носителей кратковременной памяти. Было обнаружено, что формирование полихронных групп нейронов с желаемыми свойствами возможно лишь в достаточно больших сетях – содержащих, по крайней мере, несколько тысяч нейронов. Наиболее устойчивым этот эффект был в самых больших исследованных сетях – включающих 10000 нейронов. Он наблюдался в пределах примерно 10 %-ных вариаций приведенных в табл. 1 значений параметров, определенных как оптимальные. Результаты, полученные для этой комбинации параметров, мы рассмотрим более подробно.

Таблица 1. Параметры сети, оптимальные для формирования полихронных групп нейронов – носителей кратковременной памяти

Параметр

Кол-во нейронов

Кол-во связей нейрона с входными узлами

Кол-во остальных возбуждающих синапсов

Кол-во тормозных синапсов

Значение

10000

320

1376

672

Для этой комбинации параметров равновесное состояние сети достигалось примерно за 6000 с. При изучении полихронных групп мы брали значение повторяемости, дающее размер полихронных групп, близких по численности количеству входных узлов – носителей одного паттерна (т. е. 300). В рассматриваемом случае эта повторяемость оказалась равной 17. При этом для всех паттернов специфичность запоминающих их полихронных групп оказалась абсолютной (). Показателем того, что принадлежность нейрона к одной специфичной полихронной группе не влияет на вероятность его вхождения в другую группу, явился размер попарных пересечений этих трех полихронных групп (9, 7, 14) – при теоретическом значении, равном 9.

Периодограммы активности этих полихронных групп для всех трех паттернов на 3 разных точках эволюции сети – в самом начале, в фазе развития и после установления равновесия показаны на рис. 1. Мы видим, что сформировавшиеся специфичные полихронные группы сохраняют свою активность (т. е. память о недавнем предъявлении соответствующего паттерна) достаточно долго – практически до следующего паттерна. Интенсивность этого ответа примерно одинакова для всех паттернов. Мы видим также, что эти группы уже существовали в самом начале эволюции – правда, тогда они выполняли функцию не запоминания, скорее просто распознавания, причем неэффективно – ввиду их слабого ответа на предъявление паттерна. Интересно, что первоначально эволюция вела к усилению интенсивности ответа на предъявление паттерна, а на более поздних этапах – к увеличению длительности этого ответа.

Рис. 1. Периодограммы активности специфичных полихронных групп

нейронов в разные периоды эволюции сети

Выводы

В настоящем исследовании впервые на основе самых общих предположений о функционировании нейрона и стандартной модели синаптической пластичности показана возможность самопроизвольного возникновения в первоначально однородной и хаотической нейронной сети полихронных групп нейронов, не только распознающих подаваемые на вход сети паттерны, но и запоминающих в своей специфической активности факт предъявления соответствующего паттерна в недавнем прошлом. При этом время запоминания на порядки больше времени длительности самого паттерна. Использование для этой цели полихронных групп очень существенно, так как открывает путь к радикальному повышению информационной емкости нейросети.

Список литературы

1.  Zipser, D., Kehoe, B., Littlewort, G., Fuster, J. A Spiking Network Model of Short-Term Active Memory // Journal of Neuroscience, 1993. V. 13(8) P. .

2.  Wang, X.-J. Synaptic reverberation underlying mnemonic persistent activity // Trends in Neurosciences, 2001. V. 24(8) P. 455-463.

3.  Itskov, V., Hansel, D., Tsodyks, M. Short-term facilitation may stabilize parametric working memory trace // Frontiers in Computational Neuroscience, 2011. V. 5, Article 40.

4.  Mongillo, G., Barak, O., Tsodyks, M. Synaptic Theory of Working Memory // Science, 2008. V. 319 P. .

5.  Kiselev M. Self-organized Short-Term Memory Mechanism in Spiking Neural Network // Proceedings of ICANNGA 2011 Part I, Ljubljana, P. 120-129.

6.  Киселев M. Самопроизвольное формирование механизмов кратковременной памяти в стабилизирующихся импульсных нейронных сетях // Труды конференции «Нейроинформатика-2011». М., 2011. С. 269-278.

7.  Szatmary, B., Izhikevich, E. Spike-Timing Theory of Working Memory // PLoS Comput Biol. 2010. V. 6(8) e1000879.

8.  Gerstner W., Kistler W. Spiking Neuron Models. Single Neurons, Populations, Plasticity. Cambridge University Press, 2002.

9.  Kiselev M. Self-organized Spiking Neural Network Recognizing Phase/Frequency Correlations // Proceedings of IJCNN-2009. Atlanta, Georgia, P. .

10.Nolte J. The Human Brain: an introduction to its functional anatomy. Mosby Elsevier. 2009.