И. Е. ШЕПЕЛЕВ
НИИ нейрокибернетики им. ЮФУ, Ростов-на-Дону
*****@***ru
КОМИТЕТ НЕЙРОННЫХ СЕТЕЙ ДЛЯ КЛАССИФИКАЦИИ ЭЛЕКТРОЭНЦЕФАЛОГРАММЫ МЫСЛЕННЫХ ДВИЖЕНИЙ
В работе предложен нейросетевой комитет для классификации пространственно-временных паттернов электроэнцефалограммы мозговой активности мысленно выполняемых движений. В основе классификатора лежит нейросеть радиально-базисных функций и интерпретатор временной последовательности ответов нейросети. Комитет состоит из двух нейросетей для распознавания движений левой и правой рукой и одной нейросети для разделения фоновой электроэнцефалограммы и электроэнцефалограммы движений.
Ключевые слова: Комитет нейронных сетей, радиально-базисная сеть, интерпретатор выходов, мозговой интерфейс, электроэнцефалограмма, мысленные движения
Введение
Задача классификации электроэнцефалограммы мысленных движений рассматривается в контексте создания системы «интерфейс мозг-компьютер» [1]. Целью создания таких систем является сопряжение активности мозга человека с внешними устройствами, минуя любые нервно-мышечные каналы. Известно, что человек способен произвольно изменять электрическую активность своего мозга с помощью мысленно выполняемых движений, генерируя паттерны, которыми можно управлять внешними устройствами [2]. Обнаружение соответствующих паттернов в электроэнцефалограмме позволяет классифицировать намерения пользователя с тем, чтобы реализовать последующую трансляцию регистрируемой мозговой активности в сообщения или команды для внешнего устройства.
Настоящая работа является продолжением выполняемых автором исследований по разработке нейросетевого классификатора для интерфейса мозг-компьютер на основе мысленных движений [3,4]. Предлагается новое нейросетевое решение для классификации пространственно-временных паттернов мозговой активности, связанных с мысленным выполнением движений руками на фоне естественной электрической активности мозга. Особенностью модели классификатора является: 1) использование комитета нейронных сетей для вывода о результатах классификации, 2) реализация в каждой нейронной сети положительных ответов о принадлежности только к ограниченному числу классов, в то время как для большого многообразия примеров других классов нейронная сеть не дает никакого ответа и 3) наличие интерпретатора ответов нейросети для учета временной структуры распознаваемых паттернов, в то время как традиционное решение основано на расширении количества входов нейросети для получения предыдущих значений временного ряда.
Экспериментальные данные
Используемые экспериментальные данные подробно описаны в предыдущей работе [4]. Многоканальные электроэнцефалографические сигналы, записанные при реальных и мысленных движениях левой и правой рукой, служили в качестве, соответственно, обучающей и тестовой выборки для классификатора. Эксперименты проводились на двух испытуемых. Эксперимент строился следующим образом. Испытуемому предлагалось выполнять попеременно движения левой и правой рукой с промежутком 2–6 с между реальным и мысленным исполнением. В обучающую и тестовую выборки отбирались 30 отрезков электроэнцефалограммы движений каждого типа (реальное и мысленное движение) для каждой руки. Дополнительная тестовая выборка формировалась из двух состояний испытуемого – покой с закрытыми глазами и покой с открытыми глазами. Протяженность записи каждого из состояний составляла несколько десятков секунд.
Модель классификатора
Классификатор паттернов электроэнцефалограммы мысленных движений состоит из двух нейронных сетей, применяемых для классификации каждого из типов мысленных движений – движений левой и правой рукой, и одной нейронной сети для разделения электроэнцефалограммы движений и фоновой электроэнцефалограммы, записанной в отсутствии каких-либо движений. Для учета временной структуры паттернов электроэнцефалограммы использован интерпретатор последовательности ответов нейронных сетей.
Нейронная сеть. Основу модели классификатора составляют сети радиально-базисных функций, обучаемые оригинальным соревновательно-градиентным алгоритмом настройки параметров сети. Радиально-базисная сеть состоит из двух слоев нейронов с настраиваемыми параметрами. Первый (скрытый) слой осуществляет нелинейное преобразование входного сигнала посредством активационных функций своих узлов, представляющих собой функцию Гаусса:
,
где yj – выход j-го узла, Ii – компоненты входного вектора сети, сji – компоненты вектора координат центра j-го узла сети, σji – компоненты ширины j-го узла сети. Узлы второго (выходного) слоя выполняют скалярное произведение вектора выходов узлов первого слоя y с вектором собственных весовых коэффициентов w формируя выход сети O:
,
где Ok – выход k-го узла, wkj – весовой коэффициент связи j-го узла первого слоя с k-м узлом выходного слоя, yj – выход j-го узла первого слоя.
Алгоритм настройки параметров сети – центров с и ширин σ и весов w – состоит в следующем. Традиционное решение настройки параметров заключается в последовательном применении соревновательного алгоритма для настройки центров с узлов скрытого слоя сети, а затем градиентного алгоритма для настройки весов связей w узлов выходного слоя. Ширины σ узлов скрытого слоя устанавливаются заранее или рассчитываются однажды и при последующем итерационном процессе не изменяются [5]. Данная схема была модифицирована таким образом, что соревновательный и градиентный режимы работают параллельно. Кроме того, ширины σ узлов скрытого слоя включены в градиентную настройку, причем настройка производится для каждой из компонент вектора ширины узла сети.
Входной слой каждой из трех нейросетей состоит из 14 входов, соответствующих числу отведений электроэнцефалограммы, выходной слой содержит 1 выход для кодирования одного класса. Первая сеть служит для распознавания движений левой рукой, вторая сеть – движений правой рукой и третья сеть для распознавания движений левой или правой рукой. Третья сеть отделяет электроэнцефалограммы движений от электроэнцефалограммы фона. Необходимость наличия первых двух сетей отдельно для каждого движения обусловлена перекрытием кластеров каждого из движений в признаковом пространстве, что при решении в рамках одной нейросети вызывает заведомую ошибку классификации (рис.1).
Рис.1. Проекция признакового пространства на плоскость: черные точки
соответствуют мгновенным значениям амплитуды электроэнцефалограммы
движений левой рукой, серые точки – правой рукой
Входным сигналом для первых двух сетей служили непосредственно амплитуды электроэнцефалограммы, а для третьей сети – разности двух последующих значений амплитуд электроэнцефалограммы. Признаковые пространства для каждой из трех нейросетей сформированы так, что для решения задачи нейросети достаточно иметь фиксированный размер скрытого слоя, состоящий из единичного узла. Это также возможно благодаря используемому параллельному соревновательно-градиентному алгоритму с полностью настраиваемой радильно-базисной функцией.
Интерпретатор. Кодирование классов для нейросетей производится таким образом, что заключение о принадлежности входного вектора к искомому классу делается при превышении активности выходного нейрона пороговой величины thresh1. Выходная активность выходного нейрона ниже пороговой величины интерпретируется как нулевая:
Таким образом, мы ввели в нейросеть категорию ответа с нулевой активностью у выходных нейронов сети. Данный ответ сети условно можно назвать «фон». В качестве порогового уровня thresh1 выбрана величина 0.5 при линейной нормировке выходных значений сети в диапазон [0,1].
На вход нейронной сети не подаются предыдущие значения временного ряда, поэтому временная структура паттернов полностью учитывается при интерпретации ответов нейронной сети. Окончательное решение классификатора о наличии в электроэнцефалограмме паттерна, связанного с выполнением движения, формируется следующим образом. Комитет трех нейросетей работает в параллельном режиме и для каждого входного вектора дает ответ, формируемый в соответствии с логикой, представленной рис. 2.
Рис. 2. Логика решений комитета сетей
Последовательность ответов о(t) интерпретируется как выполнение движения определенного класса, если эта последовательность составлена из ответов о принадлежности к одному классу и имеет непрерывную длину не менее thresh2. Анализ паттернов производится для двух последовательностей, формируемых как конъюнкция ответов первой и третьей сети, и второй и третьей сети. По первой последовательности детектируется движение левой рукой, по второй – правой рукой. Окончательное решение комитета о наличии паттернов движения в электроэнцефалограмме принимается при обнаружении паттерна искомой длины в одной из последовательностей. Определение величины thresh2 производилось по обучающей выборке и соответствовало максимальному значению точности работы классификатора.
Результаты вычислительных экспериментов
В вычислительных экспериментах исследовалась работа классификатора на двух наборах экспериментальных данных для каждого из двух испытуемых.
На первом этапе производилось обучение нейросети на паттернах реальных движений. При обучении интерпретатор ответов не принимал участия, поэтому требуемая точность обучения формулировалась на уровне классификации отдельных экземпляров данных и составляла не менее 90 %. После обучения трех нейросетей до 90 %-ного уровня точности на обучающих примерах производилось определение наилучшего порога длины паттернов интерпретатора. Порог длины составил 21 для всех анализируемых случаев. С включенным в работу интерпретатором и установленным порогом на длину непрерывной последовательности ответов нейросети точность работы классификатора составила не менее 93% на тестовой выборке мысленных движений. Далее тестировалась работа классификатора на записях электроэнцефалограммы для двух состояний покоя – с открытыми и закрытыми глазами. Во всех случаях для электроэнцефалограммы состояния покоя классификатор не распознавал наличие паттернов мысленных движений.
Заключение
В работе предложен нейросетевой подход для классификации пространственно-временных паттернов электроэнцефалограммы мозговой активности асинхронно выполняемых мысленных движений. В основе классификатора лежит комитет нейросетей радиально-базисных функций и интерпретатор их ответов. Особенностью нейросетей явилась реализация ими положительных ответов о принадлежности только к одному классу, тогда как для большого многообразия примеров других классов нейронная сеть не дает никакого ответа. Другой особенностью модели классификатора явилось наличие интерпретатора последовательности ответов нейросетей для учета временной структуры распознаваемых паттернов, тогда как традиционное решение основано на расширении количества входов нейросети для учета предыдущих значений временного ряда. Классификатор продемонстрировал высокую точность распознавания паттернов мысленных движений и отсутствие ложных паттернов движений для состояния покоя.
Список литературы
1. Wolpaw J. R., Birbaumer N., McFarland D. J., Pfurtscheller G., Vaughan T. M. Brain-computer interfaces for communication and control. // Clin. Neurophysiol. 20Р. 767–791.
2. Morash V, Bai O, Furlani S, Lin P, Hallett M. Classifying EEG signals preceding right hand, left hand, tongue, and right foot movements and motor imageries. // Clin Neurophysiol, 2008. Nov; 119(11). Р. .
3. , Владимирский нейросетевого классификатора для интерфейса «мозг–компьютер». //Нейрокомпьютеры: разработка, применение, 2010. №2. С. 4-10.
4. , Лазуренко подход к задаче классификации паттернов электроэнцефалограммы мысленных движений. // XIV Всероссийская научно-техническая конференция "Нейроинформатика-2012". Сборник научных трудов. В 3-х частях. Ч.3. М.: НИЯУ МИФИ, 2012. с.238-245.
5. Нейронные сети: полный курс. – 2-е изд. М.: Вильямс, 2006.
