Технология интерфейсов мозг-компьютер (ИМК) предоставляет пользователю возможность управления исполнительными устройствами без посредства периферических нервов и мышц, за счет регистрации и преобразования электрической активности мозга, чаще всего методом электроэнцефалографии (ЭЭГ) [1]. Традиционно практическая область применения этой технологии обусловлена разработкой систем нейрореабилитации и частичного замещения речевых и моторных функций для пациентов с тяжелыми двигательными нарушениями [2]. Кроме того, технология ИМК может находить свое применение как вспомогательное средство инструментальной диагностики, например, при аутизме [3] или при нервной анорексии [4], а также в системах тренировки когнитивных функций [5].

Наиболее эффективны для коммуникации и управления ИМК, основанные на предъявлении пользователю внешних стимулов и детектировании в ЭЭГ потенциалов, связанных с событиями (ПСС), отражающих реакцию внимания к этим стимулам [6]. Впервые подобная технология ИМК для набора текста была опубликована в 1988 г. [7] и получила название «ИМК-P300». Пользователь видит перед собой буквенную матрицу, стимулами в которой служат поочередные подсветки букв. При мысленном реагировании на подсветки целевых букв в составе ПСС увеличивается ряд компонентов, и в первую очередь волна P300. В результате анализа ПСС алгоритм ИМК может с высокой вероятностью определить целевой стимул, на котором сфокусировано внимание пользователя [8].

Общий принцип классификации (разделения реакций на целевые и нецелевые классы) в ИМК основан на базовом методе получения и анализа ПСС. Согласно ему, для получения ПСС из ЭЭГ выделяют отдельные эпохи в ответ на повторяющиеся стимулы, а при усреднении этих идентичных эпох происходит выделение когерентного стимулу сигнала ПСС среди общего шума, который не является когерентным по отношению к моментам стимуляции [6].

Тем не менее в нейрофизиологии известен феномен вариативности латентности единичных ЭЭГ-реакций относительно моментов предъявления внешних стимулов [9]. Такая вариативность ответов в отдельных попытках при усреднении их синхронно с моментами предъявления стимула может приводить к искажению в оценке компонентов ПСС [10]. Причем вариативность могут проявлять как более ранние, так и более поздние компоненты [11, 12]. Так, было показано [13], что усредненная волна P300 оценивается необъективно из-за вариативности латентности между отдельными попытками, из-за чего амплитуда пика уменьшается, а его ширина увеличивается [14]. Поэтому весьма вероятным представляется влияние вариативности не только на изучаемые в том или ином исследовании эффекты, но и на точность классификации в ИМК-P300.

В целом известно, что латентность компонентов ПСС, в частности P300, коррелирует с возрастом, когнитивными особенностями человека и другими факторами [15, 16]. Отклонения в характеристиках единичных ответов на внешние стимулы можно наблюдать в случае, когда внимание субъекта распределяется между двумя задачами, причем вариативность увеличивается пропорционально сложности второго конкурирующего за перцептивные ресурсы задания [16]. Процесс достижения конечной цели с помощью ИМК (набор текста) и выполнение непосредственных инструкций (реагирование на стимулы) сами по себе могут быть конкурирующими задачами. Кроме того, использование технологии ИМК в реальных условиях может сопровождаться наличием сопутствующих задач, вызывающих постоянные вариации внимания и восприятия [17]. Важно отметить также, что дополнительным источником разнонаправленных эффектов на характеристики ПСС, в том числе вариативности, могут служить особенности параметров стимуляции: темп предъявления стимулов в ИМК обычно составляет до 4–5 в 1 с [8], в то время как стандартные рекомендации для получения и анализа ПСС предполагают предъявление одного стимула в 1–2 с [18]. 

С точки зрения нейрофизиологии процессы вариативности в мозге имеют различные причины на разных уровнях организации нервной системы и в целом их считают естественным явлением для мозга [19]. Однако высокий уровень общей вариативности может быть связан с рядом паталогических состояний, поскольку может отражать повышенный уровень нейронального шума и пластичности, затрудняя оценку индивидом внешних событий и формирование адекватной реакции на них, например, при аутизме [19, 20]. Повышенная вариативность ПСС также была выявлена у пациентов с синдромом дефицита внимания и гиперактивности, особенно в заданиях, требующих повышенной когнитивной нагрузки [19, 21].

Поскольку процесс когнитивного утомления субъекта рассматривают как одну из возможных причин вариативности реакций ЭЭГ [22], данный фактор может негативно влиять на результативность управления в ИМК-P300 как для здоровых пользователей, так и в большей степени для пациентов. У людей с нарушениями двигательных и речевых функций показано снижение внимания и иногда некоторых когнитивных функций, и в целом такие пользователи быстрее начинают испытывать утомление и затруднения при длительном управлении в ИМК [23, 24].

В связи с этим крайне важным представляется выявление эффектов вариативности ПСС в ИМК-P300, причем в различных по вовлечению ресурсов внимания условиях. С одной стороны, знание этих закономерностей позволит создавать оптимальную по эффективности стимульную среду, с другой — максимально компенсировать эффекты вариативности, что облегчит освоение этой технологии как здоровыми пользователями, так и особенно пациентами. Целью исследования было определить эффекты вариативности ЭЭГ-реакций внимания пользователя к стимульным командам в ИМК-P300 и выявить возможности учета этих эффектов при классификации стимулов-команд в ИМК.

ПАЦИЕНТЫ И МЕТОДЫ

В исследовании использовали ЭЭГ-данные, полученные ранее в модифицированной версии ИМК-P300 со стимульной матрицей, которая могла свободно перемещаться в пределах зрительного поля. Детали этой модификации и часть полученных при ее использовании результатов были описаны нами ранее [25]. Настоящее исследование посвящено выявлению и оценке эффектов вариативности ПСС, возникающих у пользователя такого интерфейса.

В исходном исследовании, проводившемся на биологическом факультете МГУ имени М. В. Ломоносова, принимало участие 12 испытуемых (четверо мужчин и восемь женщин) в возрасте 21–22 года. Критерии включения: здоровые добровольцы мужского и женского пола в возрасте 18–35 лет. Критерии исключения: наличие диагностированных неврологических и/или психических заболеваний, наличие эпизодов судорожных припадков или диагностированного эпилептического статуса. Изначально исследование было спланировано для проверки гипотезы о возможности детектирования на основе ПСС фокуса внимания к целевым стимулам, если их позиции будут постоянно находиться в движении [25].

Матрица размером 3 × 3, состоящая из иконок, имела угловые размер 7,4º × 7,4º, размер отдельного стимула — 2,2º × 2,2º. Стимуляцию осуществляли в виде подсветок (125 мс через каждые 500 мс) строк и столбцов матрицы в случайном порядке.

Заданием испытуемого было сфокусировать внимание на целевом стимуле матрицы, внимательно следить за данным стимулом и мысленно считать число подсветок, приходящихся на него.

В исследовании использовали различные типы и скорости движения матрицы в пределах экрана. Движение было прямолинейным с постоянной скоростью, направление инвертировалось при достижении края экрана. Всего было шесть режимов:

• «статичная матрица» (располагалась неподвижно в центре);
• «горизонтальное движение» (со скоростью 5º/с);
• «вертикальное движение» (со скоростью 5º/с);
• «хаотичное движение» (со скоростью 5º/с, направление могло меняться в случайные моменты времени);
• «скорость 10º/с» (горизонтальное движение); – «скорость 20º/с» (горизонтальное движение).

Все режимы для каждого испытуемого чередовали в случайном порядке. В одном режиме предъявляли 120 целевых и 240 нецелевых стимулов.

ЭЭГ регистрировали с помощью шести электродов: Cz, Pz, PO7, PO8, O1, O2 с объединенным референтным электродом на мочках ушей (электроэнцефалограф NVX24, «МКС»; Зеленоград, Россия). Частота дискретизации сигнала — 250 Гц. Запись осуществляли в программе CONAN-NVX, предъявление стимулов — с помощью оригинального программного обеспечения, написанного на языке программирования Python 2.6. Для синхронизации ЭЭГ с моментом начала подсветок использовали датчик на основе фотодиода. Одновременно с появлением целевого/нецелевого стимула в правом верхнем углу экрана ровно под датчиком появлялся небольшой белый/ черный квадрат. Сигнал от датчика записывался вместе с ЭЭГ-данными в отдельный канал, и по изменению яркости под датчиком можно было точно определять реальные моменты появления стимулов.

Работу с сигналом ЭЭГ, выделение и обработку ПСС осуществляли в среде MATLAB 9.11 (R2021b) (MathWorks; США). Сигнал ЭЭГ подвергали полосной фильтрации в диапазоне 0,5–20 Гц (или 0,5–10 Гц для работы с индивидуальными эпохами и расчета классификации) фильтром Баттерворта 4-го порядка, а затем разбивали на эпохи с границами от –400 до 1200 мс относительно стимула. Исключали артефактные эпохи, содержащие превышение амплитуды сигнала в любом из каналов +/– 50 мкВ. Число исключенных эпох обычно не превышало 10%.

Эпохи ЭЭГ разделяли на целевые и нецелевые, после чего усредняли внутри каждого испытуемого и режима, формируя целевые и нецелевые ПСС с укорочением окна от –200 до 800 мс. В канале Pz определялась амплитуда компонента P300 как максимальное значение сигнала в окне от 300 до 600 мс после стимула, а в каналах PO7, PO8, O1, O2 — амплитуда компонента N1 как минимальное значение сигнала в окне от 100 до 300 мс. Латентности пиков определяли как время максимума или минимума относительно начала стимула.

Для анализа вариативности компонентов ПСС латентности пиков P300 и N1 рассчитывали аналогично в тех же каналах и окнах, но в единичных неусредненных эпохах. На основе значений латентностей все эпохи (внутри каждого канала, режима и испытуемого) сортировали от меньшего значения к большему. Для анализа вариативности латентностей пиков ПСС рассчитывали медианное абсолютное отклонение (median absolute deviation, MAD) в каждом режиме у каждого испытуемого. Для анализа влияния вариативности компонентов на ПСС все эпохи перед усреднением центрировали по времени пика: определяли разницу между латентностью в усредненном ПСС и латентностью индивидуальной эпохи, затем каждая эпоха сдвигалась по оси времени на данную величину (вперед или назад), после чего их все они усредняли обычным способом с окном от –200 до 800 мс. Эпохи в каналах Cz и Pz корректировали по времени пика P300, а в затылочных каналах — по времени пика N1. В усредненных скорректированных ПСС также рассчитывали амплитуды пиков. Для группового анализа амплитуд N1 использовали значения, вычисленные в усредненной по четырем каналам (PO7, PO8, O1, O2) кривой.

Для оценки вариативности компонентов ПСС внутри одного испытуемого амплитуды рассчитывали в индивидуальных эпохах ЭЭГ (исходных и скорректированных по латентности): в каждой эпохе вычисляли среднее значение сигнала в окне шириной 52 мс, центрированном по латентности пика в конкретном канале и режиме.

Для выявления эффектов вариативности ПСС на возможность детектирования команд в ИМК-P300 рассчитывали показатели оффлайн-классификации у всех испытуемых в каждом режиме, отдельно для исходного варианта усреднения ПСС и для скорректированных по латентности эпох. Вектор признаков для линейного дискриминанта Фишера в каждом режиме формировали на основе значения амплитуд сигнала во всех каналах ЭЭГ в окне 600 мс после стимула (брали одну точку на каждые 50 мс). Точность классификации оценивали методом кросс-валидации (leave-one-out) при последовательном тестировании каждой эпохи с классификатором, обученном на всех остальных эпохах того же режима. Процедуру повторяли для всех эпох, а точность классификации оценивали как процент правильно определенных эпох (два класса: целевые и нецелевые). Для корректного расчета точности перед классификацией количество целевых и нецелевых эпох выравнивали путем случайного удаления части нецелевых эпох. Для исключения вариаций результатов такой процесс классификации повторяли 100 раз со случайным удалением нецелевых эпох в каждой итерации, после чего брали среднее значение точности по 100 итерациям.

По всем вычисленным значениям амплитуд, латентностей, точности классификации проводили статистический анализ данных (пакет STATISTICA 7.0). Для группового анализа применяли однофакторный или двухфакторный дисперсионный анализ (ANOVA). При наличии значимых главных эффектов для парных сравнений применяли апостериорный (post hoc) критерий Тьюки или Бенджамини–Хохберга. При анализе амплитуд компонентов внутри отдельного испытуемого после проверки распределения на нормальность (χ², критерий Хи-квадрат) применяли парный t-критерий Стьюдента.

РЕЗУЛЬТАТЫ ИССЛЕДОВАНИЯ

Для визуализации процесса работы с единичными эпохами ЭЭГ (до усреднения ПСС) по горизонтали откладывали значения времени, по вертикали — последовательные индивидуальные эпохи, а цветом кодировали значения амплитуды [11]. Данный способ позволяет отображать различные варианты группировки отдельных эпох и нагляднее представить эффекты их вариативности. На рис. 1 представлен пример такого отображения целевых эпох для одного из испытуемых в режиме «статичная матрица» для каналов Pz и PO8. На рис. 1А очередность следования эпох сверху вниз отражает их реальную хронологию предъявления, а на рис. 1Б эпохи отсортированы таким образом, что выше располагаются эпохи с более ранней латентностью компонента P300 (в Pz) или N1 (в PO8), а ниже — с более поздней латентностью. На рис. 1В представлены эпохи, тайминг которых скорректирован по среднему значению латентности в данном режиме и канале. Для большей наглядности по вертикали использовали сглаживание единичных эпох методом скользящего среднего по 10 эпохам.

На рис. 2 представлены ПСС, полученные при усреднении исходных и скорректированных эпох у того же испытуемого. В последнем случае амплитуды обоих пиков существенно превосходят исходный вариант усреднения ПСС без коррекции на индивидуальную латентность пиков. Данные различия были значимы у каждого испытуемого в каждом из режимов (p < 0,001 по парному критерию Стьюдента).

Для оценки описанного эффекта вариативности на амплитуды на групповом уровне использовали дисперсионный анализ, в который вводили значения амплитуд, рассчитанные в усредненных ПСС у каждого испытуемого. Значения амплитуд во всех режимах для компонентов P300 и N1 приведены на рис. 3. Амплитуда P300 и N1, рассчитанная при использовании скорректированных по латентности эпох, была существенно выше, чем при обычном способе усреднения эпох. Двухфакторный дисперсионный анализ (фактор «коррекция латентности» — два уровня, фактор «тип движения» — четыре уровня, включая режим «статичная матрица») выявил значимый эффект коррекции латентности на амплитуду P300:

F(1,11) = 95,7, λ = 0,10 при p = 0,000001 и N1: F(1,11) = 58,1, λ = 0,16 при p = 0,00001. Фактор «тип движения матрицы» также был значим для P300: F(3,9) = 7,5, λ = 0,29 при p = 0,008 (более низкая амплитуда в режиме с горизонтальным движением), но не для компонента N1.

При анализе факторов «коррекция латентности» (два уровня) и «скорость движения» (три уровня) также было выявлено значимое влияние фактора «коррекция латентности» на амплитуду компонента P300: F(1,11) = 88,5, λ = 0,11 при p = 0,000001 и N1: F(1,11) = 46,6, λ = 0,19 при p = 0,00003, но не скорости движения матрицы. Кроме того, для компонента N1 было значимо взаимодействие этих двух факторов: F(2,10) = 10,4, λ = 0,32 при p = 0,0036 (тенденция более низкой амплитуды при наиболее быстром движении при обычном способе усреднения эпох).

При групповом анализе вариативности ПСС были выявлены некоторые статистически значимые эффекты для показателя MAD латентностей пиков. Фактор скорости движения (три уровня) оказался значимым для компонента N1 в отведениях PO8, O1 и O2: F(2,22) = 4,4 при p = 0,024, F(2,22) = 3,8 при p = 0,037 и F(2,22) = 4,9 при p = 0,017 соответственно. В частности, post-hoc-анализ позволил выявить, что вариативность (значение MAD) была выше в режиме с самым быстрым движением по сравнению с более медленным движением матрицы в каналах в O1 и O2 (p < 0,05), а в PO8 различия имели уровень тенденции (p < 0,1). Значимого влияния фактора «тип движения» для компонента N1, а также факторов «тип движения» и «скорость движения» для компонента P300 выявлено не было. 

На рис. 4 представлена точность оффлайнклассификации во всех режимах для стандартного способа выделения ПСС, а также эпох, скорректированных по латентности пиков P300 и N1. Двухфакторный дисперсионный анализ (фактор «коррекция латентности» — два уровня, фактор «тип движения» — четыре уровня) выявил значимый эффект коррекции латентности эпох на точность классификации: F(1,11) = 102,7, λ = 0,09 при p = 0,00001. Post-hoc-анализ показал, что точность во всех четырех режимах при коррекции эпох (94,7, 92,2, 93,2 и 94,8%) была выше, чем при стандартном выделении ПСС (78,3, 78,1 78,3 и 76,1%) (p < 0,0001 для всех режимов). Двухфакторный дисперсионный анализ (фактор «коррекция латентности» — два уровня, фактор «скорость движения» — три уровня) выявил значимый эффект как способа расчета точности, так и скорости движения матрицы: F(1,11) = 110,0, λ = 0,09 при p = 0,00000 и F(2,10) = 6,0, λ = 0,46 при p = 0,0196, а также взаимодействие этих факторов: F(2,10) = 11,5, λ = 0,30 при p = 0,0026. Post-hoc анализ показал, что точность во всех трех режимах при коррекции эпох (92,2, 93,7 и 94,0%) была выше, чем при стандартном выделении ПСС (78,1, 76,7 и 71,2%) (p < 0,0005 для всех режимов). Кроме того, точность в режиме с самым быстрым движением (71,2%) была ниже, чем в двух других режимах (78,1 и 76,7%) (p < 0,05), но только в случае стандартного способа выделения ПСС (без коррекции латентности).

ОБСУЖДЕНИЕ РЕЗУЛЬТАТОВ

В целом результаты нашего исследования подтверждают, что вариативность ПСС характерна для ИМК-P300, она существенно влияет на форму компонентов ПСС и зависит от степени вовлечения ресурсов внимания. Коррекция вариативности единичных ЭЭГ-реакций на стимулы может значительно улучшать точность распознавания команд в ИМК-P300.

Несмотря на то что методика ПСС предполагает многократное усреднение реакций на стимул, в целом детектирование пиков единичных реакций вполне возможно при определенных параметрах обработки сигнала. Это хорошо иллюстрируют и наши данные (см. рис. 1), и результаты других работ [9, 10, 12]. Более того, такой анализ единичных эпох позволяет вводить коррекцию на вариативность латентности пиков в отдельных реализациях предъявления стимула, что в итоге приводит к лучшему выделению и увеличению амплитуды исследуемых компонентов потенциалов (рис. 2). Несмотря на многократно описанный феномен вариативности латентностей ПСС в литературе, наличие в ИМК-P300 этих эффектов нельзя считать самоочевидным, поскольку по сравнению с типичными психофизиологическими исследованиями темп стимуляции в ИМК обычно существенно выше. С одной стороны, это могло бы снижать вариативность, стабилизируя временной разброс реакций, с другой — увеличивать, осложняя корректное детектирование стимула при более быстром предъявлении, поскольку вариации во внимании могут приводить к увеличению вариативности ПСС [20]. В целом причины вариативности связывают с варьирующим временем оценки стимула, которое каждый раз определено временем, необходимым для восприятия и категоризации стимула [26]. Мы показали, что учет эффектов вариативности может существенно увеличить амплитуды компонентов, связанных с вниманием к целевым стимулам, как на индивидуальном, так и на групповом уровне (рис. 2 и рис. 3).

Несмотря на отсутствие значимых эффектов различных типов и скоростей движения матрицы ИМК-P300 на амплитуды компонентов ПСС, индекс MAD показал более высокую вариативность компонента N1 при более быстром движении матрицы. Острота зрения снижается при увеличении скорости объектов слежения [27], что связывают с увеличением затрат внимания при больших скоростях. Поскольку вариативность компонентов ПСС связана с особенностями работы глазодвигательной системы [28], вариации внимания и необходимость слежения за ячейками матрицы на большой скорости могли приводить к увеличению вариативности N1 в данном режиме. Это согласуется также со снижением амплитуды данного компонента в разностных ПСС в режиме, обнаруженном нами и ранее [25]. Причем эффект характерен для этого более раннего компонента, чувствительного к целевым событиям в точке фиксации взгляда [29], а не более позднего P300.

Эффекты коррекции латентности компонентов ПСС имеют не только фундаментальный, но и прикладной интерес, поскольку нами было показано существенное увеличение точности классификации целевых стимулов в рассмотренном варианте ИМК-P300 (рис. 4). Вопрос вариативности индивидуальных латентностей в ИМК и влияние ее на показатели классификации изучали и ранее. Например, показана корреляция точности классификации со степенью вариативности и сделано предположение, что именно последнее явление может лежать в основе низкой эффективности работы для некоторых испытуемых [17]. Однако предложенный авторами работы вариант предусматривал оценку вариативности не по исходным пикам в эпохах ЭЭГ, а по амплитудным значениям выхода классификатора, что кажется менее логичным и эффективным, поскольку внешние факторы (шум и пр.) могут влиять на значения выхода классификатора. В другой работе точность в ИМК-P300 действительно росла при коррекции латентности, но это было показано только при анализе узкого окна для компонента P300, при сравнении же с базовым подходом различий в классификации не наблюдалось [26]. Кроме того, авторы сами подчеркивают несостоятельность своего алгоритма для онлайн-работы, поскольку он предусматривал наличие у каждой эпохи целевой/нецелевой метки, что возможно лишь при оффлайн-анализе. Показан положительный эффект на точность классификации по сравнению со стандартным подходом при коррекции латентности обоих компонентов P300 и N1, вклад которых одинаково высок [30], что может быть использовано и в онлайн-режиме ИМК, поскольку коррекцию использовали и в целевых, и в нецелевых эпохах. Важно отметить также, что исходная точность в режиме с наибольшей скоростью движения была ниже (71%), чем в других режимах (76–78%), в то время как после коррекции латентности точность во всех режимах стала примерно одинаково высокой (92–95%), что подчеркивает особую ценность данного способа коррекции в подобном и других потенциально более требовательных по ресурсам внимания режимах работы ИМК.

ВЫВОДЫ

Использованный в работе подход к анализу единичных эпох ЭЭГ позволил выявить ряд особенностей вариативности латентностей компонентов ПСС, возникающих при работе пользователя с модифицированной стимульной средой ИМК-P300. Было показано, что учет такой вариативности позволяет не только более эффективно выделять компоненты ПСС, связанные с вниманием к целевым стимулам, но и повысить точность классификации команд пользователя интерфейса. Кроме того, на примере модификации ИМК-P300 с движущейся стимульной матрицей был показан более высокий вклад такого способа коррекции латентностей в более когнитивно затратных условиях (высокая скорость движения стимульных объектов). В совокупности наши результаты показывают важность учета вариативности компонентов ПСС при разработке стимульной среды ИМК-P300 и дают основу для создания более эффективных систем нейроуправления на основе ПСС, ценность которых может быть особенно высокой для людей со сниженным уровнем внимания.