Сравнительная динамика однородных и неоднородных нейросетей

ДИПЛОМНАЯ РАБОТА

Сравнительная динамика однородных и неоднородных нейросетей

МИНСК 2001

Содержание

1. Введение................................................................................................. 4

2. Нейромоделирование в биофизике.......................................... 7

2.1. Введение........................................................................................... 7

2.2. Основные нейрофизиологические данные и понятия 9

2.3. Эмпирические модели и активность нейронов....... 13

2.4. Анализ методики выделения локальных совокупностей нейронов со сходной активностью из неоднородной нейросети.................................................................................................................... 15

2.4.1. Введение........................................................................................ 15

2.4.2. Числовые оценки метода.............................................................. 15

2.4.3. Разрешающая способность метода и мультиразрешающая оценка 17

2.4.4. Обработка экспериментальных данных...................................... 19

3. Модель нейрона Ходжкина-Хаксли....................................... 22

3.1. Введение......................................................................................... 22

3.2. Экспериментальные результаты...................................... 22

3.3. Математическое описание модели............................... 24

3.3.1. Мембранный ток........................................................................... 24

3.3.2. Ионная проводимость.................................................................. 25

3.3.3. Калиевая проводимость............................................................... 26

3.3.4. Натриевая проводимость............................................................. 27

3.3.5 Синаптическая проводимость....................................................... 28

3.3.6 Влияние шумовых помех.............................................................. 29

4. Методы исследования взаимодействия нейронов в нейросетях........................................................................................................................ 31

4.1. Общие положения модели.................................................... 31

4.2. Сила синаптической связи и активность локальной совокупности нейронов.............................................................. 32

4.3. Синхронизация и фазовый сдвиг между наборами потенциалов действия нейронов........................................... 34

4.4. Применение резонансно-поискового вычислительного метода для анализа скрытых колебательных процессов в нейросети............................................................................................. 34

4.4.1. Введение........................................................................................ 34

4.4.2. Характеристика вычислительных методов анализа.................... 36

4.4.3. Формирование резонансно-поисковой процедуры.................... 37

4.4.4. Организация процесса поиска...................................................... 39

4.4.5. Вычислительная схема резонансно-поискового метода............. 39

4.5. Обнаружение сигнала при наличии помех................. 40

4.6. Описание экспериментальной установки................. 42

5. Анализ влияния неоднородности на поведение нейросетей 45

5.1. Введение......................................................................................... 45

5.2. Программная реализация модели нейросети........... 46

5.3. Случай двух нейронов соединенных возбуждающими синапсами........................................................................................... 51

5.4. Неоднородная нейросеть состоящая из нейронов соединенных возбуждающими синапсами..................... 56

5.5. Обсуждение................................................................................... 62

5.6. Выводы............................................................................................ 64

6. Заключение......................................................................................... 65

7. Литература.......................................................................................... 66

1. Введение

Актуальность темы работы. Изучение поведения отдельных нейронных групп и нервной системы в целом занимает одно из ведущих мест в современной биофизике. Важнейшим вопросом анализа электрофизиологической активности больших популяций нейронов является выделение локальных совокупностей нейронов, имеющих одинаковый характер активности или кластеров. Методика, позволяющая выполнить процедуру выделения кластера, дает возможность проанализировать внутреннюю организацию нейросети и оценить ее поведение как поведение некой динамической системы. Подобные исследования способны предоставить информацию о строении и функционировании отдельных участков нервной системы, а также могут быть полезны для изучения и лечения патологических заболеваний мозга, центральной и периферической нервной системы.

На протяжении многих лет единственно доступными методами исследования функционирования головного мозга оставались методы электроэнцефаллографии. Данные методы позволяют регистрировать групповую активность отдельных участков мозга, однако не позволяют рассматривать электрофизиологические явления на клеточном уровне. Возможность изучения активности отдельных клеток появилась лишь с внедрением микропипеточной технологии, но наиболее благоприятные условия для исследования внешней электрической активности сложились с появлением планарных многоэлектродных датчиков, позволяющих в течение длительного времени регистрировать электрическую активность.

С началом использования планарных датчиков встает вопрос о регистрации, обработке и интерпретации широкого спектра внешних электрических сигналов, получаемых от отдельных клеток, нейронных сетей и органотипических культур.

Цель и задачи. Цель данной работы заключается в разработке, тестировании и практическом применении нового метода компьютерного моделирования нейросетей, а также метода исследования неоднородностей и кластеризации нейросети, включая следующие задачи:

1) разработка модели формирования потенциала действия нейронов под действием внешнего стимула на основе уравнений Ходжкина-Хаксли;

2) разработка модели взаимодействия нейронов в нейросети, связанных синаптическими связями;

3) разработка и тестирование алгоритма выделения локальных совокупностей нейронов с одинаковой активностью в нейросети на базе полученной модели;

4) изучение электрической активности сконструированной нейронной сети используя разработанный подход;

5) сравнительный анализ методов выделения кластеров в нейросети.

Объект и предмет исследования. Объектом проведенного исследования, являются совокупности электровозбудимых клеток, в частности нейронов, а предметом исследования – электрические сигналы, генерируемые клетками как под действием внешнего стимула, так и благодаря синаптическим связям. Из набора импульсов, генерируемых клетками, рассматривается и анализируется периодическая активность как отдельного нейрона, так и их совокупности в условиях различной стимулирующей активности. Также рассмотрено влияние различных параметров синаптического соединения на частоту сигналов.

Научная новизна и значимость результатов. В ходе работы создана модель, описывающая взаимодействие биологических нейронов, и разработана новая методика выделения кластеров в нейросети. В основу построения модели заложены методы, позволяющие в достаточной степени учитывать свойства внутриклеточной и внешней среды, а также параметры реальных нейронов. Используемые при моделировании подходы позволяют рассматривать различные режимы стимуляции активности клеток, а также влияние тормозных и возбуждающих синаптических потенциалов на формирование потенциала действия.

Практическая значимость результатов. Разработанные модель и методика могут иметь широкий спектр применения:

Во-первых, данные о взаимодействии отдельных клеток, позволят оценить их вклад в формирование групповой активности органотипических культур нейронов и участков нервной системы in vivo.

Во-вторых, информация о влиянии состояния синаптических контактов на формирование частоты генерации нейроном потенциала действия может быть применена для исследования воздействия нейротропных веществ на популяцию нейронов.

В-третьих, данные, полученные с помощью предлагаемой модели, могут быть применены для разработки алгоритмов по детектированию и обработке электрофизиологических сигналов нейронов, получаемых в эксперименте.

2. Нейромоделирование в биофизике

2.1. Введение

Большинство моделей в нейронауке можно разделить по группам [11]:

Обычные или "языковые" модели используются учеными, чтобы объяснить, как человеческий мозг или некоторые из нейроструктур могли бы работать. Эти модели точны при достоверности всех используемых данных, и в противном случае соответственно неточны.

Всесторонние модели - результат попытки принять во внимание все известные нейрофизиологические факты и данные. Обычно они тяжелы и сложно поддаются математическому анализу. Типичный пример - модель нейрона Ходжкина-Хаксли (1954) или модель гиппокампа Трауб-Майлза (1991).

Эмпирические модели, используют при создании модели, отражающей одно или несколько наиболее важных нейрофизиологических свойств, зачастую независимо от других нейрофизиологических фактов. Типичные примеры - бистабильный нейрон МакКалока-Питса (1943) и сеть Хопфилда (1982). Хотя они и поддаются математическому анализу, но эти модели не имеют никакого строгого отношения к реальными нервным системами.

Канонические модели возникают при изучении критических режимов, таких как бифуркации в динамике нейросетей или мозга. Довольно часто случается, что описание работы системы в критическом режиме можно преобразовать подходящим изменением переменных к канонической модели, которая является обычно более простой, но это фиксирует сущность режима. Такое преобразование сдвигает внимание от наблюдения за моделью к наблюдению критического режима. Главное преимущество канонического подхода в том, что появляется возможность создания канонической модели для системы, чьи уравнения неизвестны. Главный недостаток состоит в том, что канонические модели являются полезными только тогда, когда системы находятся в состояниях близких к критическим режимам.

Деление, предложенное выше, искусственно и в принципе не существует точных границ между типами моделей. Например, модель Ходжкина-Хаксли могла бы быть классифицирована как эмпирическая модель, потому что отображает наши знания относительно свойств мембран до середины 1950-ых, которые до сих пор являются все еще несовершенными. Канонические модели также могли бы рассматриваться как эмпирические модели, потому что они могут быть проанализированы без обращения к компьютерам и/или потому что они иллюстрируют некоторые базисные нейрофизиологические факты типа возбудимости, бистабильности, осцилляций. [17,18,19,27,33]

Модель каждого из типов имеет собственные преимущества и недостатки. Ни одну из них нельзя назвать лучшей или худшей. Рисунок 2.1 указывает некоторые связи между этими моделями.

Рис.2.1. Взаимосвязь моделей в нейронауке

Дальнейшее описание построим в рамках двух моделей: языковой и эмпирической, поскольку языковая модель поможет сформулировать и обобщить многообразие фактов, известных на данный момент о работе нейронов и нейросетей. Эмпирическую же модель можно рассматривать как вариант упрощенной всесторонней модели для того, чтобы максимально приблизить анализируемую модель к реальной биологической системе.

2.2. Основные нейрофизиологические данные и понятия

Рассмотрим модель мозга базирующуюся на экспериментальных наблюдениях, сформулированных Шеффердом (1983), Куфлером и другими (1984). Модель формируется в виде набора высказываний, характеризующих сущность наблюдаемых явлений.

Мозг имеет множество нейронов. Их число огромно - более чем 1011. Хотя нейроны отличаются по размерам, форме, и функциям, однако возможно описать типичные свойства нейрона.

Нейроны состоят из тела клетки, дендритов и аксона. Нейроны --живые клетки имеющие метаболизм, подобный найденному во многих других клетках. Например, тело клетки (сома) нейрона имеет ядро, везикулы, митохондрии и т. д. В отличие от других клеток тела, нейрон имеет дендриты и аксон. Дендритное дерево может быть огромным, покрывая громадные области мозга, и аксон может более быть длиннее одного метра.

Рис.2.2. Нейрон и его схематичное представление

Нейроны генерируют потенциалы действия. Потенциал действия, который также называется импульс или спайк напряжения, есть кратковременное электрофизиологическое событие, которое происходит из-за того, что мембрана нейрона обладает активными свойствами, то есть является возбудимой средой. Потенциалы действия обычно рождаются и распространяются от аксонного холмика далее вдоль аксона.

Передача потенциалов действия - основной механизм связи между нейронами. Можно думать о потенциале действия как о сигнале, который посылается от одного нейрона к другому нейрону. Нейрон получает множество сигналов от других нейронов (конвергенция) и посылает сигналы многим другим (дивергенция).

Нейроны функционально поляризуются. То есть, они получают сигналы через дендриты, обрабатывают и накапливают их в соме (интеграция), и посылают ответ к другим нейронам через аксон.

Соединением между аксоном одного нейрона и дендритной частью другого нейрона является синапс. Синапс может быть электрическим или химическим. Химический синапс состоит из пресинаптической и постсинаптической частей, которые разделены промежутком (синаптической щелью). Когда импульс достигает конечной части аксона, запускается цепь химических и физиологических реакций в пресинаптической части, заканчивающаяся выделением определенного химического вещества в синаптическую щель. Данные химические вещества, называющиеся нейромедиаторами или нейротрансмиттерами, пассивно диффундируют через синаптическую щель к постсинаптической области. Они взаимодействуют с постсинаптическими рецепторами, производя изменения в потенциале постсинаптической мембраны.

Нейрон является возбуждающим, если при взаимодействии потенциал постсинаптической мембраны возрастает, то есть происходит деполяризация. Возрастание мембранного потенциала облегчает генерацию потенциала действия в постсинаптическом нейроне. Если потенциал постсинаптической мембраны уменьшается, то есть происходит гиперполяризация, пресинаптический нейрон называется тормозным. Гиперполяризация обычно препятствует генерации потенциала действия.

Этот список описывает некоторые физиологические аспекты мозга, но не описывает то, как мозг функционирует. Действительно, известно то, как нейроны формируют мозговые структуры, например кору головного мозга (neocortex) или гиппокамп (hippocampus), и даже немного известно о том, как нейроны общаются внутри и вне этих структур. Но до сих пор пока не ясно, как эти связи и взаимодействия приводят к распознаванию образов, отвечают за внимание, эмоции, сознание или любые другие мозговые явления. Ученые обычно упоминают только те факты, которые используют в своей модели и пренебрегают многими другими, интересными, но неуместными при моделировании.

Разнообразие нейронов и типов связей между ними настолько большое, что несложно найти примеры ограничений и уточнений ко многим или даже всем вышеизложенным фактам. Рассмотрим некоторые из них.

Помимо нейронов, в мозге существует множество других типов клеток. Например, нейроглиальные и Шванновские клетки значительно превосходят численностью нейроны и занимают почти половину объема мозга. Шванновские клетки формируют изоляцию (миелин) вокруг больших аксонов, чтобы ускорить распространение потенциалов действия, но роль нейроглиальных клеток еще должна быть прояснена. Полагается, что они также участвуют в обработке сигнала.

Некоторые нейроны не генерируют потенциалы действия, и в то же время имеются не-нейроны, которые генерируют потенциалы действия. Например, гранулярные клетки в органах обоняния не генерируют потенциалы действия при нормальных условиях. Генерация потенциалов действия это в принципе общее свойство клеток.

Поляризация мембраны играет выжную роль в делении клетки, морфогенезе, секреции гормонов, ионной передаче, управлении ее размером, и т. д., и вполне может не относиться к передаче сигналов.

Выявлено множество различных механизмов связи между нейронами, и потенциал действия только один из них. Нейроны могут также передавать ограниченные, градуируемые потенциалы. Изменения мембранного потенциала распространяются только на короткие расстояния, обычно от дендритных терминалей до сомы. Нейроны могут также иметь дальние, химически установленные, взаимодействия через секрецию специфических нейрогормонов в межклеточные промежутки или в систему кровообращения. Таким образом, связь возможна и между отдаленными нейронами не имеющими никаких общих синапсов.

Передача сигнала через нейрон не обязательно вызывает электрическую поляризацию/деполяризацию всей клетки. Рассмотрим, например, гранулярные клетки в органах обоняния: они не имеют аксона, зато имеют дендро-дендритные синапсы с митральными клетками (см. рис.2.3). То есть сигналы (изменения мембранного потенциала) передаются от дендрита митральных клеток непосредственно к дендриту гранулярной клетки и обратно к митральному дендриту клетки. Одним словом, вполне возможна нетривиальная обработка информации внутри дендритного дерева не включая само тело клетки. Таким образом, нейрон - не просто один функциональный модуль. Операции внутри его собственных частей, например через дендритное дерево, могут быть относительно автономными.

Рис.2.3 Дендро-дендритный (взаимный) синапс. Для простоты изображены только два дендрита

Некоторые нейроны не имеют дендрита или аксонов. Типичные примеры таких нейронов - гранулярные клетки в органах обоняния, которые не имеют аксонов.

Существуют дендро-дендритные, аксон-аксонные, взаимные, и множество других типов синапсов.

Очевидно, что ни один из постулатов составлящих модель мозга не является полностью точным. Однако, они представляют полезные упрощения при обсуждении организации мозга и его функций. При изучении общих нейросетей подразумевается, что они состоят из типичных нейронов, имеющих дендрит, аксоны, потенциалы действия, и т. д. Однако при изучении специфических структур мозга, типа клеток в органах обоняния или гиппокампа, стоит явно определять вид рассматриваемых нейронов, так как такие нейроны вполне могут быть нетипичными.

2.3. Эмпирические модели и активность нейронов

Эмпирические модели мозга применяют при конструировании простых динамических систем, отражающих одно или несколько наиболее важных нейрофизиологических наблюдений. Создание таких моделей - скорее искусство чем наука. Число эмпирических моделей огромно, и в принципе не существует общепринятого мнения по поводу того, какие из свойств нейронов важны и релевантны к данному специфическому явлению, а какие - нет.

Кроме того, одно и то же свойство нейрона может быть выражено математически больше чем одним способом. Этот факт зачастую и обуславливает использование канонической модели, которая обеспечивает достаточно строгий способ получить эмпирические модели, а также в целом уменьшить их количество.

Большинство эмпирических моделей мозга – это нейросети описываемые уравнением вида:

(2.1)

Где скаляр xi обозначает активность i-го нейрона. Активность нейрона может являться одним из следующего (хотя этот список неограничен):

·  Мембранный потенциал на аксонном холмике или соме.

·  Усредненное число потенциалов действия, сгенерированных в единицу времени.

·  Вероятность порождения потенциала действия.

·  Частота колебаний.

·  Фаза колебаний.

·  Количество нейротрансмиттера выпущенного синаптическими терминалями.

·  Усредненная концентрация нейротрансмиттера в синаптических промежутках в дендритных окончаниях.

Случай одномерного рассмотрения нейронной активности вероятно самый простой. Аналогично можно рассматривать многомерные переменные, описывающие активность одиночного нейрона. Ими вполне могут быть:

·  Амплитуда и фаза колебаний.

·  Мембранный потенциал и активность ионных каналов в аксонном холмике.

·  Пространственное распространение мембранного потенциала и активность ионных каналов.

·  Все вышеупомянутое, плюс переменные, описывающие биохимические реакции в нейроне, соме, синапсах, и т. д.

Несложно заметить, что большое количество нейрофизиологических данных можно описать такой переменной, как активность нейрона, и в принципе можно сказать что подобная эмпирическая модель близка к всесторонней.

2.4. Анализ методики выделения локальных совокупностей нейронов со сходной активностью из неоднородной нейросети

2.4.1. Введение

Разработка современных оптико-регистрирующих (Кохен, Салзберг, 1975) и микроэлектродных систем (Джимбо, Кавана, 1992; Джимбо и др., 1993) позволила получить одновременную запись электрической активности нескольких десятков нейронов и в ближайшем будущем можно ожидать создание регистрирующих систем исследующих значительно большие популяции, состоящие из тысяч нейронов и более. Таким образом, очень важно разработать набор способов и методик для быстрого и осмысленного анализа подобного значительного количества данных [13].

Предполагается, что в больших популяциях нейроны являются частью определенных нейросетей с постоянными или меняющимися связями. Визуальные одновременные наблюдения за всей нейросетью позволяют выделить участки с приблизительно одинаковым характером чередования периодов возбуждения и покоя. Методика выделения локальных совокупностей нейронов или кластеров со сходной активностью дает возможность анализировать функциональную структуру нейросети, оценивать поведение нейросети с точки зрения динамических систем, изучать распространение электрической активности популяции нейронов.

2.4.2. Числовые оценки метода

Сформулировав задачу нам необходимо ввести некоторые количественные оценки позволяющие сравнить активность двух исследуемых нейронов [8]. Для начала рассмотрим математическое представление записанных с датчика данных. Разобьем все время регистрации на 2k интервалов одинаковой длины и будем подсчитывать число спайков на каждом из интервалов. Таким образом, получаем представление зарегистрированных данных с разрешением k в виде вектора:

, (2.2)

где - число спайков на i-ом подинтервале регистрации a . Два различных зарегистрированных набора импульсов a и b могут быть сравнены путем сравнения двух соответствующих 2k – мерных векторов ak и bk . Для проведения подобного сравнения можно использовать достаточно богатый набор оценок. Выберем отклонения Эвклида и Хэмминга и линейную корреляцию. Этот выбор обусловлен тем, что все остальные метрики в той или иной степени соотносятся с выбранными.

Мера отличия основанная на Эвклидовом отклонении нормированном на 1 выражается в виде:

(2.3)

Когда оба вектора нулевые отклонение условно принимают равным 0.

Нормированная мера отличия основанная на отклонении Хэмминга записывается в виде:

, (2.4)

где выражение вида - есть отклонение Хэмминга между бинарными числами, то есть число отличных бит и . Символ Å есть операция исключающее ИЛИ (0Å0=1Å1=0, 0Å1=1Å0=1). Нормализующий фактор gk есть максимальное число различных бит между a и b при разрешении k. Если ряды a и b представляют собой набор 0 и 1, то есть и , где то коэффициент Хэмминга возможно представить в виде:

(2.5)

Коэффициент линейной корреляции рядов X и Y вычисляется по формуле [9].

, (2.6)

где - соответствующие средние значения рядов X,Y.

В случае существования линейной связи по модулю близко к единице, в обратном случае - к нулю. Важно, что коэффициент имеет уровень значимости, т. е. такое значение, начиная с которого можно уверенно говорить о существовании корреляции:

, (2.7)

где n -- число членов рядов Xi и Yi, а число t определяется вероятностью, с которой можно быть увереным в значимости корреляции (например, для 50% уверенности в существовании связи t = 0.6, для 99% -- t =3).

2.4.3. Разрешающая способность метода и мультиразрешающая оценка

Особо отметим проблему связанную с выбором разрешающей способности k на которой проводиться анализ. Это значение не должно быть мало, так как в этом случае даже если регистрируемые последовательности a и b достаточно близки – вектора ak и bk могут значительно отличаться из-за различных шумовых помех. С другой стороны, k нельзя брать слишком большим, так как вполне вероятна потеря информации о спайке из-за того что все наборы спайков на больших временных интервалах будут иметь тенденцию к тому чтобы выглядеть одинаково. Проведенные эксперименты (Пароди, 1998) говорят о том что вероятно не существует “оптимального” разрешения подходящего под все случаи исследования, поскольку активность нейросети есть суперпозиция множества процессов каждый из которых наилучшим образом исследуется на своем определенном разрешении. Решением этой проблемы является использование всех возможных разрешений k одновременно используя схему мультиразрешающей способности. Мультиразрешающей оценкой D(n)(a,b) схожести регистрируемых последовательностей a и b будет являться сумма всех оценок взятых на различных разрешениях с различными весовыми коэффициентами. Пусть Dk(a,b) оценка расхождения (называемая ядром или базой мультиразрешающей оценки) a и b на разрешении k, положим что 0£ Dk(a,b)£ 1 для всех k. Тогда мультиразрешающая оценка запишется как:

, (2.8)

где ak – относительный вес разрешения k, n – максимальное рассматриваемое разрешение. В идеальном случае n®µ, но на практике это число обычно ограничено частотой дискретизации сигнала и влиянием флуктуационных помех. Для весовых коэффициентов должно выполняться соотношение . Мультиразрешающая оценка имеет ряд полезных свойств:

Монотонность: для всех n, D(n)(a,b) £ D(n+1)(a,b) . Отличие двух последовательность возрастает с ростом уровня детализации.

Ограниченность: . Оценка схожести двух рядов никогда не расходиться при росте разрешения и всегда существует верхняя граница независимо от n.

Для сегментации нейросети на кластеры со сходной активностью строится граф активности Gact чьи узлы соответствуют участкам матрицы электродов в случае исследований с использованием планарных датчиков. Между парами узлами проводятся дуги в случае если оценка схожести данных записанных с этих двух узлов не превышает определенного порога S. Все соединенные компоненты графа Gact и представляют собой локальные совокупности нейронов с близкой активностью.

Выбор порога S является критической частью в данной модели. Эмпирическое правило по которому выбирается S следующее: кластеры имеют визуально наблюдаемую структуру приблизительно законченной формы.

2.4.4. Обработка экспериментальных данных

Методика мультиразрешающей оценки была применена для анализа записи электрической активности диссоциированных корковых нейронов мозга новорожденной крысы (Джимбо и Кавана, 1992; Джимбо и др., 1993). Выделенные корковые нейроны приблизительно через 20 дней формируют функциональную нейросеть, электрическая активность которой может быть изучена с помощью планарного 64-микроэлектродного датчика. В эксперименте один из нейронов стимулируют прикладыванием короткого импульса напряжения и записывают данные об активности нейростети с 64-х электродов. Типичным свойством подобных нейронных культур является существование синхронизированных спонтанных всплесков активности распространяющихся через все нейронную сеть. Динамика подобных вспышек обычно нерегулярна и поэтому очень важно правильно охарактеризовать и определить являются ли они стохастичным процессом. Рассмотрим ответ нейросети на кратковременную стимуляцию одним из электродов и некоторые результаты использования методики выделения кластеров с помощью мультиразрешающей оценки.

Рис.2.4. Обработанные экспериментальные данные.

На рисунке 2.4(А) изображен набор одновременно регистрируемых записей активности нейросети на каждом из микроэлектродов планарного датчика. Стимулирующий импульс был подан на электрод отмеченный надписью ‘Stim’. Геометрия датчика соответствует изображению на рисунке. Стадии выделение кластеров в течении первых трех временных интервалов длительностью 6.4 мс отображены на рисунке 2.4(B). Пороговое значение S для мультиразрешающей оценки выбрано равным 0,5. На рисунке 2.4.(С) изображен график показывающий среднее значение сходности кластеризации при различных повторениях опыта, то есть отношение количества одинаковых (совпадающих) дуг между узлами графа в различных экспериментах. Отметим, что при времени исследования порядка 10 мс сходность кластеризации достаточно высокая (порядка 40%) а далее со временем падает. Это означает что воспроизводимость опыта или получение одинаковых графов достаточно высоко только лишь на начальном этапе исследования, а дальнейшее поведение нейросети выглядит достаточно произвольным с точки зрения данного метода.

Изыскания аналогичной тематики проводились ранее (Палм, 1988; Крюгер, Декер, 1991; Радонс и др. 1994). В работе Палма рассчитывалcя коэффициент корреляции между двумя наборами спайков на достаточно высоком фиксированном разрешении (в каждый временной отрезок попадал хоть один спайк) и таким образом наличие достаточной корреляции между рядами свидетельствовало о наличии взаимосвязи между узлами графа.

Подобного рода технология выделения локальных совокупностей нейронов со схожей активностью может быть применена к разнообразным нейронным ансамблям, таким как ганглии (нервные узлы) пиявок или других беспозвоночных, а также популяциям нейронов центральной нервной системы млекопитающих.

3. Модель нейрона Ходжкина-Хаксли

3.1. Введение

Исследования активности нейронов, а также их совокупности базируется на определении состояния клеточной мембраны электровозбудимых клеток. Основополагающими в этой области стали работы Ходжкина и Хаксли, проведенные лабораторией физиологии Кембриджского университета и опубликованные в 1952 году. Проделанные ими исследования можно разделить на три основные части: непосредственно само экспериментальное определение параметров мембраны, математическое описание мембранного тока, математическое моделирование распространения трансмембранного потенциала действия [6,7]. Экспериментальное исследование свойств мембраны проводилось на аксонах гигантских нейронов кальмаров, по технологии “пространственной фиксации”, позволяющей исследовать ионные токи отдельно от емкостного. В данной главе подробнее остановимся на обсуждении экспериментальной части и на математическом описании поведения мембраны.

3.2. Экспериментальные результаты

Полученные результаты свидетельствовали о том, что электрическое поведение отдельного участка мембраны нейрона может быть представлено на основании эквивалентной схемы (рис. 3.1) [12].

Трансмембранный ток образован емкостным и ионными токами, протекающими через мембранную емкость и сопротивления, параллельные емкости. Ионный ток подразделяется на натриевый (INa), калиевый (IK) и ток утечки (IL), образованный ионами хлора и другими. Каждая компонента ионного тока определяется разностью электрического потенциала и коэффициентом проницаемости, который имеет размерность проводимости. Так, натриевый ток (INa) равен натриевой проводимости (gNa) умноженной на разность между трансмембранным потенциалом (E) и равновесным потенциалом для натрия (ENa). Аналогично определяется калиевый ток и ток утечки.

Эксперименты показали, что gNa и gK – функции времени и мембранного потенциала, но ENa, EK, EL, и могут рассматриваться как константы. Описание влияния трансмембранного потенциала на проницаемость базируется на следующих предположениях: во-первых, деполяризация заставляет быстро увеличиваться натриевую проводимость и медленно, но продолжительно увеличиваться калиевую проводимость; во-вторых, эти изменения потенциалозависимы и могут быть обращены реполяризацией.

При фиксированном потенциале деполяризации, величина натриевого тока изменялась со временем, но не зависела от трансмембранного тока. Если концентрация натрия такова, что ENa<E, ток направлен внутрь клетки, если концентрация уменьшится до ENa>E, то ток изменит направление, но будет иметь ту же зависимость от времени. Другим аргументом в пользу того, что трансмембранный потенциал влияет на проводимость, является тот факт, что восстановление трансмембранного потенциала приводит к уменьшению проводимости в любой момент времени.

Для определения влияния этих эффектов на явления, такие как потенциал действия и рефракторный период, необходимо получить выражения, связывающие натриевую и калиевую проводимость с мембранным потенциалом и временем.

3.3. Математическое описание модели

3.3.1. Мембранный ток

Первый шаг в анализе мембранного тока заключается в разделении его на емкостной, ионный и синаптический:

, (3.1)

где, I –плотность суммарного трансмембранного тока (внешний ток - положительный), Ii – плотность ионного тока, Isyn – плотность синаптического тока, V – смещение трансмембранного потенциала от равновесного (деполяризация положительна), CM –удельная емкость мембраны, t – время.

Последующее разделение мембранного тока можно провести, разбивая ионный ток на натриевый (INa), калиевый (IK),и другие (IL):

, (3.2)

Ионная проницаемость мембраны может быть удовлетворительно выражена в терминах ионной проводимости (gNa, gK, ). Тогда индивидуальный ионный ток может быть выражен следующим образом:

,

,

,

где ENa и EK – равновесный потенциал для ионов натрия и калия, EL – потенциал, при котором ток утечки (хлор и др.) равен нулю. Для практического использования можно применять эти уравнения в форме:

, (3.3)

, (3.4)

, (3.5)

где

,

,

,

,

где Er – абсолютная величина равновесного потенциала. V, VNa, VK, VL – изменение трансмембранного потенциала относительно равновесного потенциала.

3.3.2. Ионная проводимость

Основное затруднение при описании ионной проводимости вызывал тот факт, что натриевая и калиевая проводимость возрастает с задержкой при деполяризации мембраны, но снижается без ощутимых задержек при реполяризации. Если рассматривать переменную gK, то она должна описываться уравнением четвертого порядка при увеличении проводимости и уравнением первого порядка при ее уменьшении. Полезное упрощение можно получить предположив, что gK пропорционально четвертой степени переменной, описываемой уравнением первого порядка. В этом случае увеличение калиевой проводимости от нуля до конечной величины пропорционально (1-exp(-t))4, тогда уменьшение будет пропорционально exp(-4t). В результате этого приближения получим, что увеличение калиевой проводимости будет обладать характерной задержкой, а уменьшение будет экспоненциальным. Для описания увеличения натриевой проводимости, была предложена замена четвертой степени на третью, но для описания уменьшения натриевой проводимости необходимо включать переменную, определяющую более продолжительное изменение проводимости.

3.3.3. Калиевая проводимость

Формальное выражение, используемое для описания калиевой проводимости:

, (3.6)

, (3.7)

где - константа, описывающая проницаемость и имеющая размерность удельной проводимости, и – параметры, зависящие от трансмембранного потенциала и независящие от времени, и имеющие размерность, обратную времени, n – переменная проницаемости, которая изменяется в пределах от 0 до 1.

С физической точки зрения формальную интерпретацию этих выражений можно провести, если представить, что калиевые ионы могут пересекать мембрану только в случае, если четыре иона калия займут определенную область вблизи мембраны. n представляет пропорцию ионов в определенном положении (например, внутри мембраны) и 1-n – пропорцию в другом положении (например, вне мембраны).

Теоретическое решение уравнения (3.6) имеет следующий вид:

, (3.8)

где - начальное состояние коэффициента проницаемости (при V=0).

, (3.9)

. (3.10)

Коэффициенты и определяются путем разрешения относительно них системы (2.9,2.10):

,

,

где и определяются из оптимизации уравнения (3.8) по экспериментальным кривым для набора значений V в пределах от 0 до 110 мВ. Таки образом получают набор значений параметров и в зависимости от V, по нему подбирают оптимальную функциональную зависимость, которая имеет вид:

, (3.11)

, (3.12)

где и имеют размерность мс-1, V имеет размерность мВ, размерность постоянных коэффициентов выбирается на основании соблюдения размерности в уравнении.

3.3.4. Натриевая проводимость

Существует два подхода для описания натриевой проводимости.

Первый заключается в описании проводимости при помощи одной переменной, изменение которой описывается дифференциальным уравнением второго порядка. При помощи второго метода можно описать проводимость в терминах двух переменных, изменяющихся в соответствии с уравнениями первого порядка. Второй метод наиболее приемлем, поскольку прост в математическом описании и экспериментальном определении параметров.

Формальное выражение для натриевой проводимости имеет вид:

, (3.13)

, (3.14)

, (2.15)

где - константа, а и - функции V, но не зависят от t.

Аналитическое решение уравнений (3.14-16) имеет следующий вид:

, (3.16)

, (3.17)

где и определяются аналогично ,

,

,

,

.

Коэффициенты и определяются следующим образом:

, (3.18)

, (3.19)

, (3.20)

, (3.21)

где и имеют размерность мс-1, V имеет размерность мВ, размерность постоянных коэффициентов выбирается на основании соблюдения размерности в уравнении.

3.3.5 Синаптическая проводимость

Описание синаптической проводимости занимает отдельное место в данной модели поскольку необходимость в ее рассмотрении проявляется при изучении совокупности нейронов. Нейроны связаны друг с другом посредством синапсов, протекание тока по которым обычно моделируется с помощью a-функции связывания которая характеризует быстрое увеличение и медленное затухание пост-синаптического потенциала после генерации потенциала действия [9,14]. Таким образом, синаптический ток запишется в форме:

, (3.22)

или в развернутом виде:

, (3.23)

где a-функция , t - характеристическое синаптическое время (время диффузии нейромедиатора в синаптической щели от пресинаптической к постсинаптической мембране), gsyni – максимальная синаптическая проводимость i-го синаптического контакта, ti – время активации последнего потенциала действия в i-ом пресинаптическом нейроне, td – задержка характеризующая время распространения импульса вдоль аксона, Vsyn – характеристический синаптический потенциал. Обычно синаптический контакт называют возбуждающим при Vsyn > Er и ингибирующим или тормозным при Vsyn < Er. Обычно величину t выбирают постоянной равной 2 мс.

Рис. 3.2. Зависимость синаптической проводимости Gsyn от времени

Благодаря a-функции связывания потенциал действия одного нейрона передается другому с некоторой задержкой и это воздействие не исчезает мгновенно.

3.3.6 Влияние шумовых помех

Для создания наиболее точной и полной модели необходимо учесть влияние различного рода шумов проявляющихся при регистрации клеточной активности [10]. Как сигнал, так и искажающие его помехи являются, вообще говоря, случайными процессами, причем наши суждения об этих процессах базируются на выборках конечного размера, представляющих в конкретном случае конечное множество чисел, т. е. некая дискретная выборка. Поэтому для учета влияния шума можно использовать некую случайную функцию распределения имеющую амплитуду:

, (3.24)

где Rseal – сопротивление изоляции (характеристика соединения нейрона с микроэлектродом), Re – реальная часть микроэлектродного импеданса, k – постоянная Больцмана, T – температура, B – ширина полосы пропускания в Гц (характеристика полосы частот фиксируемых на установке). Необходимо отметить, что при фильтрации сигнала возможно произойдут определенные потери полезной составляющей сигнала. То есть суммарная ошибка при детектирования сигнала складывается из суммы ошибок в случае когда шум вносит значительный вклад в сигнал (при малых соотношениях сигнал/шум) и детектор не обнаруживает сигнал среди шума, а также в случае ложных срабатываний детектора, то есть когда среди чистого шума детектор обнаруживает сигнал. Поэтому очень важно иметь фильтр обладающий свойством высокой избирательности, реагирующий на сигнал определенной формы.

4. Методы исследования взаимодействия нейронов в нейросетях

4.1. Общие положения модели

Для упрощения дальнейшей работы определим некоторые часто используемые понятия и термины.

Нейронной или нейроподобной сетью будем называть совокупность элементов - нейронов обменивающихся информацией о собственном состоянии путем передачи сигнала через синаптические связи и определяющих собственное состояние на основе полученной информации от других элементов.

Нейронную сеть будем называть однородной если она состоит из одинаковых элементов - нейронов соединенных между собой одинаковыми связями - синапсами, и неоднородной, если элементы и/или их связи различны.

На основании выражения для синаптического тока (3.22-23) выделим некоторые параметры характеризующие синаптическую связь. В данном случае это будут максимальная синаптическая проводимость gsyni, время распространения импульса вдоль аксона td и синаптический потенциал Vsyn. Параметр td можно трактовать и как характеристику длины аксона (при постоянном сечении) поскольку время распространения сигнала по аксону при рассмотрении одинаковых нейронов есть величина постоянная. Величину характеристического синаптического потенциала Vsyn положим постоянной и равной –30 мВ практически во всех экспериментах, кроме специально оговоренных ситуаций.

Под силой синаптической связи будем понимать совокупность указанных выше параметров gsyni, td, Vsyn. для каждого конкретного синапса в отдельности.

Синаптическая связь называется возбуждающей при Vsyn > Er и тормозной при Vsyn < Er, где Er – абсолютная величина равновесного потенциала равная, в нашем случае, -65 мВ.

Сильной синаптической связью назовем такой набор gsyni, td, Vsyn. при котором генерация потенциала действия пресинаптическим нейроном в определенный момент времени t обязательно вызывает генерацию (торможение, в случае ингибирующей синаптической связи) потенциала действия постсинаптическим нейроном при условии, что постсинаптический нейрон способен сгенерировать этот потенциал (т. е. не находиться в рефракторном или возбужденном состоянии)

Слабой синаптической связью назовем такой набор gsyni, td, Vsyn. при котором генерация потенциала действия пресинаптическим нейроном незначительно влияет на характер генерации спайков постсинаптическим нейроном.

4.2. Сила синаптической связи и активность локальной совокупности нейронов

Функциональным модулем многих нервных систем, типа органов обоняния, коры головного мозга, или таламуса, является не один нейрон, а локальная совокупность (Вильсон и Кован 1973, Фриман 1975). Например, в органах обоняния такие локальные совокупности составляют клубочки, в коре головного мозга - корковые столбцы. В них нейроны сильно взаимосвязаны, имеют приблизительно тот же самый вид синаптических соединений и отвечают аналогично на очень похожие стимулы. Данная морфология могла бы иметь различные цели, например, увеличение надежности. Из-за подобной избыточности, изучая сети локальных совокупностей нейронов, можно считать что в этом случае, переменная xi в (2.1) представляет некую усредненную активность i-ой локальной совокупности нейронов. Под активностью будем понимать, например, частоту генерации потенциалов действия нейронами из i-го коркового столбца или i-ым клубочком, или любую другую усредненную характеристику, упомянутую выше.

Рис.4.1. Нейроны в коре головного мозга.

При наличии сильных связей совокупность нейронов можно рассматривать просто как нейрон, и активность совокупности как активность одного нейрона. То есть, понятие нейрона означает “средний” или “представляющий” нейрон совокупности, если не установлено иначе. Это позволяет нам заменить изображение беспорядочной совокупности биологических нейронов (левая сторона рисунка 4.2) простым изображением “среднего” нейрона (правая сторона рисунка 4.2).

Рис.4.2 Беспорядочная совокупность нейронов представлена изображением “среднего” нейрона

4.3. Синхронизация и фазовый сдвиг между наборами потенциалов действия нейронов

Поскольку наиболее важным и информационно значимым этапом анализа активности нейронных сетей и ее составляющих является анализ совокупности временных рядов отражащих картину генерации потенциалов действия исследуемыми нейронами, определим ряд используемых в работе понятий, касающихся данной темы [20,28,29].

Нейроны i и j называют синхронизированными если они генерируют потенциалы действия с одинаковыми частотами.

Синхронизация при фазовом сдвиге j=0 между наборами спайков в данный момент времени t называется синфазной, при j=p антифазной, и при j¹0, p - внефазной.

Нейросеть называется синхронизированной если синхронизирована каждая пара нейронов. Очевидно, что достаточно сравнить синхронизацию одного из нейронов популяции со всеми остальными для определения полной синхронизации всей нейросети [15].

4.4. Применение резонансно-поискового вычислительного метода для анализа скрытых колебательных процессов в нейросети

4.4.1. Введение

Точка зрения о случайном характере биологических процессов привела к широкому распространению статистических методов исследования этих процессов и в первую очередь методов исследования стационарных случайных процессов [1]. Колебательные процессы в живых системах, очевидно, не удовлетворяют условию

(4.1)

а следовательно, не могут быть отнесены к классу периодических процессов. Они также не удовлетворяют условию

(4.2)

и следовательно не могут быть отнесены к классу квазипериодических функций. Отсюда не следует, что их нужно относить к чисто случайным процессам и изучать только статистическими методами. Скорее всего, чисто случайные процессы представляют собой такую же исключительную редкость, как и абсолютно регулярные процессы.

В реальных процессах можно ожидать меняющихся со временем динамических зависимостей, завуалированных друг другом и нерегулярными возмущениями. С этой точки зрения колебательные процессы в живых системах представляют собой процессы с относительно медленно изменяющимися параметрами. Вероятно они удовлетворяют более общему, чем (4.1), определению:

(4.3)

при условии, что , но может быть >1. Подобное условие означает, что скорость изменения периода того или иного колебания относительно невелика по сравнению с абсолютной величиной периода именно данного i-го, а не другого j-го колебания. Очевидно, состояния большинства элементов биологической системы (направление движения рыб в стае, трансмембранные потенциалы клеток ткани) мгновенно измениться не могут. Это приводит к относительно медленному изменению функционирования подсистемы в целом. В то же время динамические характеристики элементов из которых состоят разные подсистемы совершенно различны. Соответственно скорости изменения процессов, отображающих функционирование различных подсистем также различны и поэтому скорость изменения периода одного колебания может значительно превышать по абсолютной величине период другого колебания. Колебательные процессы описываемые уравнением (4.3) обычно называют относительно-периодическими.

4.4.2. Характеристика вычислительных методов анализа

Среди методов используемых для решения задачи обнаружения скрытых колебаний в живых системах традиционно наибольшее распространение получили методы основанные на использовании корреляционной функции и спектральной плотности. Однако необходимость интегрирования за длительный промежуток времени при наличии нестойкой периодичности может привести к потере самого факта колебательности. Таким образом в случае реальных биологических процессов, содержащих ряд меняющихся со временем динамических зависимостей, в том числе относительно-периодических, завуалированных взаимным наложением и нерегулярными возмущениями, вычисление корреляционной функции после больших расчетов приводит в результате к слабо интерпретируемой картине. Что касается функции спектральной плотности, то она являясь прямым преобразованием Фурье, также не дает достаточно информации для обнаружения относительно-периодических составляющих в биологических процессах и качественного определения их параметров. Отсюда очевидна принципиальная ограниченность этих двух методов для решения задачи анализа скрытых колебательных процессов в живых системах в целом и в нейросетях в частности.

Большое распространение для исследования биологических процессов получили также аппроксимационные вычислительные методы, такие как метод наименьших квадратов, метод Фурье, косинорный метод и т. п. Основным этапом косинорного метода, получившего широкое распространение за рубежом, является метод наименьших квадратов при условии что в качестве аппроксимирующей функции выбрана косинусоидальная функция вида Y(t)=C0+Ccos(wt+j). Все эти методы являются описательными либо “сглаживающими” и обладают низкой разрешающей способностью применительно к поставленной выше задаче при наличии помех иногда значительно превышающих амплитуду скрытого колебания.

Наиболее перспективными методами для решения класса задач связанных с анализом биологических процессов являются резонансные методы. По своей функциональной структуре они состоят из трех основных этапов. Первый этап заключается в организации такой резонансной процедуры, которая позволяет при совпадении пробного параметра с искомым параметром некоторой скрытой в анализируемом процессе колебательной составляющей определить этот параметр на основании взаимно-детектирующих свойств функции. Второй этап состоит в организации процесса поиска по одному из параметров скрытого колебательного процесса с целью его обнаружения. И на третьем этапе проводиться многофакторный анализ с целью выявления взаимосвязей между различными скрытыми колебательными процессами.

4.4.3. Формирование резонансно-поисковой процедуры

Для обнаружения скрытого колебания и качественного определения его параметров на участке минимальной, но достаточной для надежного определения длины используются детектирующие свойства гармонических функций, основанных на резонансных свойствах интегралов Стокса [2]:

(4.4)

При этом определенные интегралы M и N используются не для вычисления коэффициентов тригонометрических рядов (как это делается при разложении в ряды Фурье), а для формирования такой функции V(w)=f[M(w),N(w)] которая при изменении пробных частот w или периодов T = 2p/w резко изменяет свое поведение при приближении пробной частоты или периода к искомому – периоду скрытого колебательного процесса. Это и позволяет обнаружить скрытое колебание, а затем исследовать его параметры. В качестве подобной процедуры может быть использована процедура вычисления и построения периодограммы вида

(4.5)

в некотором достаточно узком диапазоне wmin.. wmax или Tmin.. Tmax. При выборе Tmin и Tmax необходимо соблюдать следующие соотношения:

Tmin £ Тх £ Tmax;

Tmin / Tmax £ А, где 2 £ А £ 4 (4.6)

Диапазон возможных значений периодов (частот) должен быть приблизительно оценен по виду процесса. Одним из часто используемых подходов является подсчет среднего интервала между наибольшими максимумами (минимумами) принимаемого за исходное значение пробного периода с последующим расчетом в некотором диапазоне вблизи него. Подобная методика реализуется в схеме Бью-Балло при селекции периодических компонент в рассматриваем процессе [3]. Таким образом исходное значение периода может быть рассчитано по формуле

Tисх = t/Nmax, (4.7)

где t – время исследования процесса или интервал задания, Nmax – число максимумов или число пиков в анализируемом процессе.

4.4.4. Организация процесса поиска

Определив граничные значения Tmin и Tmax необходимо организовать процесс вычисления значений периодограммной функции V2(Ti) (или V2(wi)), где Ti – пробный период (wI – пробная частота). Функция V2(Ti), как уже было сказано выше, зависит от значений интегралов M и N, которые вычисляются следующим образом:

(4.8)

При дискретном задании функции F(t) (при вычислениях на ЭВМ) значения M(Ti) и N(Ti) вычисляются по формулам:

(4.9)

Вычисленные таким образом величины M и N используются затем для определения V2=f(M, N).

4.4.5. Вычислительная схема резонансно-поискового метода

Рассмотрим блок-схему изображенную на рисунке 4.3 и реализующую обнаружение и анализ скрытой колебательной составляющей некого биологического процесса.

Рис.4.3. Блок схема реализации резонансно-поискового метода на ЭВМ

4.5. Обнаружение сигнала при наличии помех

При обработке данных, считанных с установки, актуальной становиться проблема обнаружения сигнала при наличии помех, состоящая в том, чтобы по результатам обработки наблюдаемого процесса, который может быть либо только помехой, либо комбинацией сигнала и помехи, определить содержится ли полезный сигнал в принятом или нет. Выделим основные моменты в задаче обнаружения детерминированного сигнала в аддитивном шуме. Непосредственно задача состоит в проверке простой гипотезы H0, что наблюдаемый процесс есть шум, против простой альтернативы H1, что этот процесс нормальный, со средним значением, изменяющимся по известному закону s(t) [4]. Предположим, что случайный процесс x(t) задается своими координатами, то есть конечной совокупностью случайных величин xk . Если задана длительность интервала наблюдения, то результат одного эксперимента может быть представлен одним элементом из выборки x1…xn. Так при наблюдении на интервале (-T, T) через равные промежутки времени 2T/n элементами выборки являются n чисел xk=x(tk), где tk=T(2k-n)/n, k=1..n. Если выбор осуществляется из совокупности некоррелированных случайных величин, то в результате наблюдаемыми координатами будут величины полученные интегрированием с различными весами реализации принятого процесса x(t) на заданном интервале (-T, T).

(4.10)

В этом выражении и - собственные числа и собственные функции интегрального уравнения

, (4.11)

где B(t)- известная корреляционная функция шума.

Ограничимся первыми n координатами и учтем, что если в качестве координат выбраны независимые случайные величины, то для процесса с нулевым средним и единичной дисперсией

, (4.12)

а для процесса с ненулевым средним, равным s(t)

. (4.13)

Отсюда можем записать выражение для логарифма отношения правдоподобия выборки x1,…,xn размером n:

(4.14)

нетрудно сформулировать правило выбора решения о наличии или отсутствии сигнала по наблюдаемым координатам x1,…,xn его аддитивной смеси с шумом.

Принимается решение о наличии сигнала, если для наблюдаемой выборки:

, (4.15)

и принимается решение об отсутствии сигнала, если выполняется обратное неравенство. Выборка s1,…,sn характеризует детерминированный или эталонный сигнал.

Порог с равен единице, для выбранного критерия максимума правдоподобия. Следовательно, окончательное выражение для принятия решение о наличии сигнала для наблюдаемой выборки x1,…,xn имеет вид:

(4.16)

Заранее задавая форму интересующего нас сигнала можно получить высокоэффективную систему избирательно реагирующую на строго определенное поведение изучаемого объекта.

4.6. Описание экспериментальной установки

Рассмотрим схему установки (рис. 4.4) используемую в работах по изучению организации нейросети состоящей диссоциированных клеток (напр. из культуры DRG - dorsal root ganglia нейронов спинного мозга эмбрионов курицы 10-12 дневного возраста) ( 1997). Нейроны в данных экспериментальных условиях могут просуществовать несколько недель. В течении этого времени они формируют двухмерные нейронные сети контактирующие с массивом регистрирующих/стимулирующих микроэлектродных датчиков.

Рис.4.4. Схема автоматизированного рабочего места при исследованиях с использованием планарных датчиков.

После извлечения, DRG нейроны высевают на массив 32/64 микроэлектродов предварительно покрытый натуральным белком (ламинином) для обеспечения адгезии клеток (связи клеток с подложкой). При этом возможно использование двух типов датчиков: а) массив состоит из 32 золотых электродов 12х12 нм расположенных на расстоянии 100 нм на кремниевой подложке; б) массив составляют 64 микродорожки выполненные из сплава оксида индий-олово, покрытые биосовместимым веществом (оксид алюминия, полиимид), и расположенные на подложке из кварцевого стекла.

Регистрируемые сигналы обычно имеют амплитуды порядка 20-600 мкВ при уровне биологического и термического шума порядка 10-20 мкВ. Непосредственно перед оцифровкой сигнал усиливается и фильтруется. Для устранения электромагнитной интерференции часть установки содержащая датчик с культурой помещается в клетку Фарадея. Сигналы от различных датчиков оцифровываются и поступают для хранения и обработки в персональный компьютер оборудованный 16-ти канальной платой ввода данных. Изменяя физико-химические условия эксперимента (напр. концентрации Mg++, Ca++) получаем возможность исследования синхронизации спайковой активности, а также изменения скорости распространения потенциалов действия внутри нейронного ансамбля.

5. Анализ влияния неоднородности на поведение нейросетей

5.1. Введение

Важнейшим вопросом в анализе электрофизиологической активности больших популяций биологических нейронов, является вопрос о выделении локальных совокупностей нейронов с одинаковым характером возбуждения и рефракторности или, иначе говоря, с одинаковым поведением. Решение подобной задачи дает возможность разбить нейронную сеть на отдельные кластеры и изучать сложное поведение всей нейросети как суперпозицию поведений ее составляющих.

Рис. 5.1. Пример типичной экспериментальной ситуации: пять взаимосвязанных нейронов на планарном микроэлектроде.

Поскольку кластер состоит из нескольких нейронов соединенных определенными синаптическими связями, то вполне логично было бы рассмотреть, для начала, самую простую ситуацию – два взаимодействующих через одинаковые возбуждающие синапсы нейрона. Усложнение топологии нейросети позволит промоделировать и изучить довольно сложные объекты, например взаимодействие корковых колонок головного мозга. Варьирование параметров синаптической связи помогает проследить за процессом “образования” кластера, то есть за образованием некой локальной совокупности нейронов выделяющихся среди всех своей одинаковой реакцией на внешнюю стимуляцию. Причем внешние стимулы у различных нейронов могут быть различны. Основываясь на полученных ранее экспериментальных данных о строении определенных участков нервной системы можно построить достаточно реалистичную модель нейронной сети, изучая которую, получим возможность предсказания поведения данного объекта при различных внешних параметрах и условиях эксперимента.

5.2. Программная реализация модели нейросети

Для программной реализации модели использовался объектно-ориентированный метод программирования. В соответствии с этим подходом каждый отдельный нейрон представляется в виде объекта (класса), обладающего следующим набором членов-данных и методов:

Постоянные:

VNa – равновесный натриевый потенциал,

VK – равновесный калиевый потенциал,

VL – равновесный потенциал ионов хлора и др.,

GNa – натриевая проводимость,

GK – калиевая проводимость,

GL – проводимость “утечки”,

N0, М0, H0 – начальные значения феноменологических коэффициентов,

dt – значение приращения времени (шаг интегрирования).

Переменные:

V – текущее значение потенциала действия,

N, M, H – текущие значения феноменологических коэффициентов,

t – текущее значение времени,

tsp – время генерации нейроном последнего потенциала действия.

Методы:

an(V), bn(V), am(V), bm(V), ah(V), bh(V), fn(V, n), fm(V, m), fh(V, h), asyn(t) – функции вычисления соответствующих коэффициентов в уравнениях Ходжкина-Хаксли,

Iion(t, V) – функция вычисления ионного тока,

Isyn(t, V) – функция вычисления синаптического тока,

Iext(t) - функция вычисления внешнего стимулирующего тока,

Вспомогательные методы:

Step() – выполнение шага в вычислениях всех параметров численным методом,

GetT() – получение текущего значения времени,

GetLastSpikeT() – получение значения времени последнего спайка,

CheckSpike() – проверка состояния возбуждения нейрона.

Кроме того, отдельными структурами были представлены Синапс и Инжектор или стимулятор возбуждения. Каждый нейрон имеет несколько синапсов и один стимулятор. Синапс представлен набором переменных:

t - характеристическое синаптическое время,

td - характеристическое время распространения сигнала по аксону,

Gsyn – максимальное значение синаптической проводимости,

Vsyn – синаптический потенциал,

ti – время прибытия последнего спайка.

Стимул описывается набором вида:

w - частота подачи стимула,

tduration – продолжительность стимулирующего импульса,

Imax – максимальное значение тока стимула,

t – текущее значение времени.

Алгоритм, определяющий работу вычислительной программы, имеет следующую структуру, представленную блок-схемой на рисунке 5.2 :

1. Установка глобальных статических параметров, (VNa, VK, VL, GNa, GK, GL ) в которые входят параметры, описывающие свойства системы в целом и физические постоянные, величины которых не изменяются.

Установка общих статических параметров, определяющих общие свойства отдельных объектов (dt, N0, М0, H0) не изменяющихся со временем.

2. Установка индивидуальных статических параметров, описывающих индивидуальные свойства каждого отдельного объекта, не изменяющихся со временем (t, td, Gsyn, Vsyn – w, tduration, Imax).

3. Инициализация индивидуальных динамических параметров каждого из объектов, т. е. начальная установка величин параметров, изменяющихся в процессе выполнения программы (t, V, N, M, H).

Дальнейшее изменение параметров системы на каждом отдельном промежутке времени Dt определяется на основании следующей последовательности действий [16]:

4. Изменение временного параметра t на величину Dt в пределах от t0 до texperiment.

5. Вычисление всех необходимых промежуточных величин.

6. Определение величины потенциала действия для каждого нейрона в сети.

7. Определение состояния нейрона и в случае спайка запоминание времени генерации потенциала действия

8. Запись спайковой активности всей нейронной сети в файл данных для дальнейшего анализа.

Построение графиков и диаграмм основывается на информации извлекаемой из файла данных.

Рис.5.2. Блок-схема реализующая вычислительный алгоритм

Используемые значения глобальных статических параметров, общих и индивидуальных статических параметров, а также начальные значения индивидуальных динамических параметров приведены в таблице 5.1.

Таблица 5.1. Значения величин, используемых при расчетах.

5.3. Случай двух нейронов соединенных возбуждающими синапсами

Рассмотрим систему состоящую из двух соединенных одинаковыми синапсами нейронов изображенную на рисунке 5.3. Оба синапса являются возбуждающими с синаптическим потенциалом Vsyn равным -30 мВ.

Рис.5.3. Схематическое изображение системы двух нейронов

Промоделируем случай “слабого” синаптического соединения, то есть при незначительном влиянии потенциала действия одного нейрона на генерацию импульса другим нейроном.

Один из нейронов подвергается стимуляции внешним импульсом с частотой 15 Гц, другой с частотой 10 Гц.

Рис.5.4. Моделирование “cлабого” синаптического соединения.

Очевидно, что при слабом взаимодействии оба нейрона генерируют потенциал действия независимо друг от друга с частотой совпадающей с частотой вынуждающего стимула при условии что эта частота не превышает максимально возможную частоту генерации нейроном потенциала действия обусловленную длительностью спайка и рефракторного периода.

Изменим условия эксперимента и исследуем зависимость частоты с которой нейроны генерируют потенциал действия под действием внешнего стимула от “силы” синаптического связывания, то есть от параметра gsyn и от характеристического времени распространения спайка вдоль аксона td.

Рис.5.5. Некоторые случаи синаптического соединения с различными характеристическими синаптическими параметрами.

Сведем все полученные данные в таблицы и построим графики характеризующие поведение системы в целом. Суммарные результаты исследования представлены на рисунках 5.6-7. Дальнейший анализ наблюдаемой системы построим на основе полученных диаграмм.

Рис.5.6. Зависимость частоты генерации потенциалов действия нейроном от gsyn и td под действием постоянного вынуждающего стимула. (А) – первый нейрон (частота стимуляции 15 Гц) , (Б) – второй нейрон (частота стимуляции 10 Гц)

Рис.5.7. Зависимость синхронизации (с учетом фазового сдвига) спайковой активности двух нейронов от параметров синаптической связи gsyn и td.

Анализируя диаграмму на рисунке 5.7 можем условно выделить две достаточно заметные области синхронизации: область (A) при td = 3..4 мс и gsyn=0.35..0.6 и область (Б) при td = 5..10 мс и gsyn > 0.5. Характерной является та особенность, что синхронизация наблюдается в области частот 40-50 Гц, это можно заметить из диаграммы на рис.5.6. Исследования распространения и генерации импульсов нейронами расположенными в зрительной коре головного мозга (Марслбург, Шнайдер, 1986; Шустер, 1991) показывают, что похоже именно синхронные колебания активности нейронов с частотой порядка 40-50 Гц являются важным механизмом для объяснения и согласования множества характерных свойств нейронов этой части мозга.

Вообще говоря, данный подход изучения динамики активности нейрона приводит к рассмотрению нейрона, как нелинейного генератора и следовательно нейросети, как системы соединенных генераторов. Основной задачей такого метода становиться выявление типичных механизмов синхронизации и определение условий для ее нарушения. Нарушение синхронизации внутри нейронной сети обычно и приводит к появлению кластеров.

Синаптическая временная задержка td (результат аксональной задержки распространения сигнала) является важным фактором в описании работы нервной системы. Величина td играет ключевую роль в постсинаптическом ингибировании в гиппокампе для задержек 2.5-8.5 мс (Майлз, Трауб, Вонг, 1988). Опыты над системами светового реагирования саранчи и звуковой локализации совы продемонстрировали значительное влияние td на синхронизацию и работу исследуемых элементов.

Не менее важную роль играет параметр gsyn отвечающий за силу синаптического связывания. Хорошо заметно, что в рассматриваемом случае синхронизация нарушается при малых значениях gsyn и слабо зависит от задержки td при больших значениях.

Если провести качественный анализ силы синаптического связывания то можно считать, что нейроны “сильно” связаны при больших gsyn и малых td, то есть в случае когда сигнал пресинаптического нейрона быстро и практически без потерь передается постсинаптическому нейрону. Совокупности подобным образом связанных нейронов как раз и образуют кластер. Очевидно, поскольку скорость распространения сигнала по аксону определяется в первую очередь его длиной, то “сильно” связанные нейроны как правило будут близко расположены с геометрической точки зрения. Соответственно “слабо” связанными нейронами можно считать нейроны имеющие небольшое значение gsyn и большое время распространения сигнала по аксону td.

5.4. Неоднородная нейросеть состоящая из нейронов соединенных возбуждающими синапсами

Рассмотрим поведение нейронной сети состоящей из одинаковых нейронов соединенных возбуждающими синапсами с Vsyn= -30 мВ. Топология исследуемой нейросети схематично изображена на рисунке 5.8.

Рис.5.8. Схематичное изображение моделируемой нейросети.

Для того чтобы рассмотреть данную нейронную сеть, как состоящую из двух кластеров, считаем постоянные синаптические связи “сильными” и в соответствии с положением принятым в п.5.3 присваиваем этим связям соответствующие коэффициенты gsyn=0.75 См/см2 и td=1 мс. Получаем две локальные совокупности нейронов которые в отсутствии связей между ними ведут себя абсолютно независимо. Затем добавим несколько связей между нейронами этих популяций и изменяя параметры выделенных синаптических связей следим за поведением всей нейросети. Нейроны одной из популяций регулярно возбуждаем внешним стимулом с частотой 10 Гц, а другой с частотой 15 Гц (как и в случае с двумя нейронами).

Рис. 5.9. Пример моделируемой активности нейронов для исследуемой нейросети из восьми нейронов.

В первую очередь, интересен факт появления синхронизации активности между этими двумя популяциями (рис 5.10). При постепенном изменении параметров выделенных синаптических связей наблюдается проявление взаимного действия нейронов одного кластера на нейроны другого в виде изменения частоты генерации спайков действия нейронами. Как правило частоты возрастают и устанавливается некая средняя характерная для популяции частота. Как правило наблюдаемые частоты не превышают порога в 100 Гц. Стоит напомнить, что обычный нейрон Ходжкина-Хаксли находясь в морской воде под действием постоянного стимулирующего тока IDC = 10 мА/см2 периодически генерирует потенциал действия амплитудой порядка 100 мВ и длительностью около 2 мс с частотой 68.5 Гц.

Рис. 5.10. Зависимость синхронизации спайковой активности между локальными популяциями нейронов от параметров синаптической связи.

Стоит отметить схожесть диаграмм изображенных на рисунках 5.7 и 5.10 для случаев двух и восьми нейронов. То есть, наличие достаточно близких по форме и параметрам областей синхронизации говорит о том, что две данные системы ведут себя приблизительно одинаково.

Проследив за динамикой синхронизации активности исследуемой системы возникает вопрос касающийся зависимости картины синхронизации от характера стимулирующего действия. Поменяем условия эксперимента и простимулируем каждый нейрон отдельно стимулирующим потенциалом со своей частотой не равной ни одной из других стимулирующих частот. Данная ситуация соответствует реальному экспериментальному случаю, если каждый из нейронов лежит на отдельном микроэлектроде. Один из нейронов стимулируем с частотой стимула 5 Гц и длительностью импульса 5 мс, другой с частотой 10 Гц, третий 15 Гц и т. д. с шагом в 5 Гц (выбор набора стимулирующих частот абсолютно произволен).

Рис.5.11. Зависимость синхронизации спайковой активности между исследуемыми кластерами от параметров синаптической связи в случае произвольного стимулирования.

Отметим изменение картины по сравнению с предыдущим случаем, однако даже сейчас можно говорить о существовании двух областей синхронизации приблизительно совпадающим с теми что были получены в случае одинаковых частот стимуляции. Очевидно, что видоизменение картины распределения областей синхронизации связано с тем, что при изменении характера стимулирования отдельных областей нейронной сети изменяются, в первую очередь, частоты с которыми нейроны в этих областях генерируют потенциалы действия, а также происходит сдвиг наборов спайков нейронов относительно наборов для других нейронов. Все это приводит к тому, что изменяется картина взаимодействия нейронов, например если в одной из рассмотренных выше ситуаций пресинаптический нейрон вызывал генерацию спайка у соседнего нейрона, то в данной случае этот постсинаптический нейрон может находиться в рефракторном состоянии и наоборот.

Кроме того, характерным является и то обстоятельство, что частоты генерирования спайков не превышают 70-80 Гц, это видно из рис.5.12.

Рис.5.12. Диаграмма распределения частот генерации потенциалов действия нейронами в случае произвольного стимулирования.

Рассмотрим, как решает задачу о выделении кластеров в сети в данном случае метод основанный на вычислении взаимной корреляции временных рядов соответствующих наборам спайков для различных нейронов. Согласно этому методу необходимо рассчитать коэффициент взаимной корреляции рядов состоящих из времен генерации нейронами потенциалов действия. Полученный результат изображен на рисунке 5.12.

Рис.5.12. Диаграмма корреляции спайковой активности нейронов исследуемой нейросети в случае произвольного стимулирующего действия.

Полученная диаграмма корреляций, выглядит достаточно схожей с диаграммой на рис.5.11, полученной резонансно-поисковым методом, хотя с помощью инструмента подобного рода трудно оценить частоты с которыми нейроны генерируют потенциалы действия. Стоит однако отметить что диаграммы подобного рода могут быть полезны, в первую очередь, для оценки корректности работы модели, а также для оценки достоверности найденных результатов.

5.5. Обсуждение

Методика выделения локальных совокупностей нейронов с одинаковой активностью в нейросети, несмотря на некоторые попытки проводить ее с помощью статистических методов, не давала удовлетворительных результатов по оценке и предсказанию поведения нейронной сети. Связано это прежде всего с тем, что процессы протекающие в реальных биологических системах не являются абсолютно случайными, а подчиняются своим, зачастую скрытым, законам. Поскольку экспериментальные исследования электрофизиологической активности реальных клеток или их совокупностей довольно сложная задача, то возникает вопрос о корректном математическом моделировании работы этих клеток. Модель должна грамотно и максимально полно отражать наиболее важные физиологические свойства клетки.

Исследуя различные комбинации соединения как отдельных нейронов, так и целых популяций стоит уделять внимание на наличие синхронизации активности, то есть на совпадение частот с которыми нейроны генерируют свои потенциалы действия под действием внешнего стимула. Наличие синхронизации говорит о том, что такие две популяции начинают вести себя одинаково, то есть за счет синаптической передачи сигналов отвечают одинаково как на похожие стимулы так и на различные стимулы в разных частях нейросети. Таким образом различные совокупности нейронов “сливаются” и начинают вести себя как один кластер. Аналогично можем наблюдать обратную картину, когда в результате появления неоднородных синаптических связей локальная совокупность “распадается” на несколько мелких кластеров или даже отдельных нейронов. Довольно полезную информацию о работе сети можно извлечь анализируя фазовый сдвиг между наборами спайков у двух нейронов. В первую очередь это дает нам информацию о задержке в распространении сигнала, косвенно характеризует скорость его передачи и тип синаптического контакта.

В отсутствии экспериментальных данных, результаты, полученные на основании исследуемой модели, удовлетворительно сочетаются с данными, полученными с помощью приведенных в литературе моделей [22,23,26,30,31,32]. Для нейросети состоящей из восьми нейронов, образующих два кластера, были выявлены области синхронизации активности в общих чертах похожие на соответствующие области в случае двух нейронов. Это дает основания утверждать, что при наличии сильных связей внутри кластера, такую совокупность нейронов можно рассматривать как один “представляющий” нейрон, и активность совокупности как активность данного нейрона.

В отличии от традиционных статистических подходов, наиболее удачным в данной методике выделения кластеров в нейросети является то обстоятельство, что в результате эксперимента мы получаем полную картину характеризующую поведение нейросети в течении всего эксперимента. То есть каждому нейрону, используя резонансно-поисковый алгоритм, ставится в соответствие некая “скрытая” частота генерации потенциала действия и затем сравнивая частоты отдельных нейронов несложно выделить те из них у которых частоты одинаковые. Статистический же метод может лишь оценить с определенной вероятностью степень сходства наборов зарегистрированных спайков. Однако не стоит полностью исключать статистические методы анализа. Их применение выгодно в тех случаях, когда мы изучаем спонтанную генерацию потенциалов действия и ничего не знаем о причинах вызвавших данную генерацию. Следовательно, грамотное сочетание этих двух методов позволит экспериментатору провести эффективный анализ как структуры нейросети так и поведения отдельных ее элементов.

5.6. Выводы

1. Разработана модель, имеющая целый ряд достоинств по сравнению с существующими аналогами. Они заключаются в возможности исследования взаимодействия биологических нейронов учитывая проводимости ионных каналов, временные задержки в распостранении сигнала по аксону и синаптической передаче, действие внешнего стимулирующего воздействия с различной периодичностью и амплитудой, а также учитывая влияние различных шумовых помех возникающих при регистрации клеточной активности. В основу модели заложены методы, позволяющие в достаточной степени учитывать свойства внутриклеточной и внешней среды, геометрические параметры реальных нейронов, различные режимы стимуляции активности клеток, влияние тормозных и возбуждающих синаптических потенциалов на формирование потенциала действия.

2. Проведено моделирование, демонстрирующее соответствие полученных в работе результатов, с данными приведенными в литературе, что свидетельствует о применимости выбранного подхода, а также о корректности программной реализации модели нейронной сети.

3. Исследовано влияние параметров синаптического соединения на активность простейших нейронных сетей при различных случаях стимулирующего воздействия.

4. Проведен сравнительный анализ уже существующих статистических методов выделения локальных совокупностей нейронов с одинаковой активностью.

5. Разработана новая методика выделения кластеров в нейросети основанная на анализе синхронизации активности нейронов с использованием резонансно-поискового метода. Благодаря предложенному подходу предоставляется возможность для предварительного анализа строения нейронной сети на основании зарегистрированной электрической активности.

6. Заключение

В ходе выполнения работы, на основании уравнений Ходжкина-Хаксли, используя данные о работе регистрирующих элементов экспериментальных установок по изучению клеточной активности, сконструирована модель нейронной сети, состоящая из взаимодействующих биологических нейронов, а также разработана методика анализа регистрируемой электрической активности нейронов с целью выделения кластеров в нейросети. При этом в основу построения модели заложены подходы учитывающие свойства клеточной мембраны, синаптических контактов, внешнего стимулирующего воздействия, а также учитывающие влияние различного рода помех при регистрации клеточной активности.

На основе полученной модели рассмотрены различные случаи организации нейронной сети, выполнен анализ одновременно регистрируемой электрической активности нейронов в нейросети, проведена сравнительная характеристика методов выделения локальных совокупностей нейронов из нейронной сети.

Полученные данные хорошо согласуются с результатами полученными для моделей, рассмотренных в литературе. Поскольку разработанная модель взаимодействующих нейронов вовлекает в себя все основные положения модели Ходкина-Хаксли и дополнена функциями для учета синаптических взаимодействий, стимулирующего действия, а также влияния различного рода шумовых помех – то такую модель можно считать эффективным описанием реальных биологических нейронных популяций.

Развитие методики анализа активности нейронных сетей с помощью резонансно-поисковой процедуры позволит оценить структуру исследуемой нейросети, а значит обеспечит понимание функционального назначения отдельных элементов нервной системы. Кроме того, методика выделения кластеров в нейросети позволит охарактеризовать сам процесс образования локальных совокупностей нейронов под действием различных факторов влияющих на рост и развитие клеток.

7. Литература

1.  Чернышев и прикладные аспекты анализа временной организации биосистем. - М.: Наука, 1976. - С. 11-34.

2.  , Сычев и прикладные аспекты анализа временной организации биосистем. - М.: Наука, 1976. - С. 35-45.

3.  , Первознанский скрытых периодичностей. – М.: Наука, 1965. – С. 34-39, 44-49.

4.  , Теоретические основы статистической радиотехники. М.: Советское радио, 1968.

5.  Волны в активных и нелинейных средах в приложении к электронике. - М.: Советское радио, 1977. - C. 307-325.

6.  Нервный импульс. - М. Мир, 1965

7.  Hodgkin A. L., Huxley A. F. A Quantitave Description of Membrane Current and its Application to Conduction and Excitation in Nerve // J. Physiol., v. 117, 1952, p.500-544.

8.  Parodi P., Jimbo Y., Kawana A., Marci D., Torre V. Segmentation of the response of a neuronal network into clusters with similar activity // BioSystems 48, 1998, p. 171-178

9.  Seunghwan Kim, Sang Gui Lee. Phase dynamics in the biological neural networks // Physica A 288, 2000, p. 380-396

10.  Bove M., Grattarola M., Verreschi G. In Vitro 2-D Networks of Neurons Characterized by Processing the Signals Recorded with a Planar Microtransducer Array. // IEEE Transactions on Biomedical Engineering, v. 44, (10), 1997.

11.  Izhikevich E. M. Bifurcations in Brain Dynamics, 1996, UMI Press. (Based on Ph. D. dissertation, Department of Mathematics, Michigan State University).

12.  Grattarola M., Martinoia S. Modeling the neuron-microtransducer junction: from extracellular to patch recording. // IEEE Transactions on Biomedical Engineering, v. 40, (1), 1993.

13.  Jimbo Y., Hugh P. C. Robinson, Kawana A. Simultaneous Measurement of Intracellular Calcium and Electrical Activity from Patterned Neural Networks in Culture. // IEEE Transactions on Biomedical Engineering, v. 40, (8), 1997

14.  Crook S. M., Ermentrout G. B., Vanier M. C., Bower J. M. The Role of Axonal Delay in the Synchronization of Networks of Coupled Cortial Oscillators // Journal of Computational Neuroscience, 1996

15.  Izhikevich E. M. Weakly Pulse-Coupled Oscillators, FM Interactions, Synchronization, and Oscillatory Associative Memory. // IEEE Transactions on Neural Networks, v. 10, (3),1999

16.  Cooley J. W., Dodge F. A. Digital computer solutions of nerve impulse. // Biophysical journal, v. 6, 1966, p 583-599.

17.  Арбиб Мозг, машина и математика. – М. Мир, 1968

18.  , , Свечинский . – М. 1962

19.  Динамика нейронных сетей. // сб. научн. трудов. Вильнюс 1966

20.  Ковбаса характеристики систем нейронов - Лен. 1990

21.  Кольс ритмического возбуждения. – М. МГУ, 1993

22.  Модели нейронных структур - М. Наука 1970

23.  Моделирование возбудимых структур. - М. Наука 1975

24.  Нейрон и межнейронная интеграция. - М. 1982

25.  Переходные процессы в нейронных системах. - АН АрмССР, 1987

26.  Позин нейронных структур. - М. Наука 1970

27.  Принципы нейродинамики. – М. 1965

28.  Сбитнев -временные формации спайковых паттернов. – М. 1997

29.  Сбитнев в системе двух связанных вибраторов. - М. 1976

30.  Концептуальные модели нервной системы. - М. 1976

31.  , Пятецкий-Шапиро сети из формальных нейронов со спонтанной активностью. - Проблемы кибернетики, выпуск 20, 1968

32.  Чораян ансамбль. - Рост. ГУ,1990

33.  Элементы теории нейрона. - Киев, 1966