Сочетание компьютерных игр основе поведенческих экспериментов с высокой плотностью ЭЭГ и инфракрасного слежения Gaze

В данном видео демонстрируется процедура одновременной регистрации данных айтрекинга и ЭЭГ с высокой плотностью электродов у испытуемых во время выполнения увлекательных и экологически валидных когнитивных задач, интегрированных в компьютерную игру. Сначала испытуемому фиксируют электроды, после чего проводится калибровка камеры айтрекинга.

Испытуемый играет в игру, в то время как регистрируются данные ЭЭГ и окулографии. Получаются вызванные потенциалы и событийно-связанные спектральные возмущения, которые инициируются игровыми событиями. Основное преимущество этого метода перед существующими, например, пакетами для предъявления стимулов, такими как ePrime или Presentation, заключается в том, что встраивание экспериментов в компьютерную игру снижает тревожность, связанную с успешностью выполнения задания, за счет отхода от контекста явного тестирования, а также помогает испытуемым сохранять мотивацию и вовлеченность в задачи на протяжении всей длительной экспериментальной сессии.

Охватывая широкий спектр когнитивных задач. Эти качества особенно важны для педиатрических и клинических групп пациентов, у которых внимание и мотивация могут стать препятствиями при проведении сложных или длительных экспериментальных сессий. Меня зовут Кит Йодер, я работаю научным ассистентом в лаборатории Бомонта.

Сегодня мне будет помогать Дэвид Пост, лаборант и аспирант Университета Алабамы в Хантсвилле (UAUA) с кафедры развития человека. Мы будем использовать 128-канальную биосенсорную систему полуактивного измерения и инфракрасный трекер взгляда iLink 1000 от SR Research. Перед началом комбинированного эксперимента с компьютерной игрой и ЭЭГ необходимо сбалансировать электроды, чтобы обеспечить небольшое смещение в диапазоне плюс или минус 20 µV за час до прибытия испытуемого. Для проведения ЭЭГ-эксперимента сбалансируйте электроды, вымочив их на 5–10 минут в солевом растворе, состоящем из одной чайной ложки соли на литр дистиллированной воды.

Не оставляйте электроды в любой жидкости более чем на 10 минут за один раз. После извлечения электродов из солевого раствора промойте их из распылителя с дистиллированной водой непосредственно перед приходом испытуемого. Включите блоки-конвертеры камер айтрекинга и компьютеры для одновременной регистрации движений глаз и ЭЭГ; убедитесь, что в камере айтрекинга установлен 16-мм объектив.

В данной установке используются четыре компьютера: один предназначен для айтрекинга, один — для регистрации ЭЭГ, один — для предъявления стимулов, и один — для захвата видео и анализа данных. Два блока-конвертера позволяют управлять VGA-выходами компьютера для айтрекинга и компьютера для предъявления стимулов, передавая объединенный видеосигнал на компьютер для захвата видео.

Таким образом, компьютер для записи видео может фиксировать игровой экран, который видит испытуемый, с наложенным курсором, обозначающим текущую точку фиксации взгляда, и временной меткой. Это видео с наложенными данными сохраняется в файл на диске компьютера для записи видео. Теперь перейдем к настройке ЭЭГ.

Начните подготовку к эксперименту по ЭЭГ с измерения обхвата головы испытуемого по линии лба и затылочной области, после чего подберите электродный колпак соответствующего размера. Наденьте колпак на голову испытуемого так, чтобы ярлык находился снаружи колпака и располагался на шее испытуемого.

Отрегулируйте положение шлема так, чтобы электрод A1 находился по центру относительно назиона, иниона и левой ушной раковины, а осевая линия шлема совпадала с сагиттальной плоскостью головы испытуемого. Назион — это углубление между носом и надбровными дугами. Инион — это костный выступ на срединной линии затылка, а ушная раковина — это хрящевой выступ, расположенный спереди от отверстия наружного слухового прохода.

Когда колпачок установлен на место, нанесите адгезивное кольцо на пластиковый корпус электродов. Ex five и ex six. Совместите отверстие кольца с электродом-пеллетом.

Снимите бумажную подложку с адгезивного кольца и нанесите проводящий гель на контакт электрода. Поместите EX six на правый сосцевидный отросток испытуемого, а EX five — на левый сосцевидный отросток испытуемого. С помощью шприца с тупым наконечником поместите проводящий гель в каждый держатель электрода в шлеме.

Слегка покачайте кончик шприца, чтобы раздвинуть волосы объекта. Затем одновременно нажмите на поршень и отведите шприц от головы, имитируя нанесение крема на торт. Заполняйте, пока уровень геля не сравняется с верхним краем пластикового корпуса.

Следите за тем, чтобы не переполнить емкость. Лучше использовать недостаточное количество геля, так как избыток может вытечь между электродами, что приведет к образованию перемычек. Если между электродами возникнет перемычка, исправить это будет невозможно.

После того как колпак будет снят, попросите испытуемого вымыть и высушить волосы, а затем начните процедуру заново: удерживая разъемы электродов на плече, а концы с датчиками в одной руке, аккуратно поместите каждый электрод в соответствующий держатель внутри электродного колпака. Держите электроды только за пластиковый корпус и будьте очень осторожны, чтобы не передавить провода. Крайне важно не касаться кончиков электродов.

Контакт с кожей, одеждой или любым материалом, отличным от токопроводящего геля, ухудшит качество электродов. Нанесите токопроводящий гель на электроды от X1 до X4 и с помощью адгезивных колец закрепите их на лице испытуемого. Расположите электроды X1 и X2 примерно в одном сантиметре по горизонтали от левого и правого наружных углов глаз испытуемого соответственно.

Расположите электроды X3 и DX4 примерно на один сантиметр ниже середины левого и правого глаз испытуемого на скуловых костях. Аккуратно соберите провода электродов за спиной испытуемого и свободно оберните провод C-M-S-D-R-L вокруг остальных. Чтобы сформировать жгут, закрепите провода сверху и снизу с помощью ремней-липучек и используйте медицинский пластырь, чтобы прикрепить жгут к задней части рубашки испытуемого.

Убедитесь, что провода имеют достаточный запас длины, чтобы испытуемый мог комфортно наклонить голову вперед. Теперь подготовьте электроды для КГР, нанеся раствор хлорида калия на каждый электрод. С помощью медицинской лейкопластыря закрепите электроды КГР на втором и третьем пальцах недоминирующей руки испытуемого или той руки, которая не будет задействована в ходе эксперимента.

Для регистрации поведенческих реакций после установки всех электродов попросите испытуемого сесть на стационарный стул без наклона спинки. Перед монитором представления стимулов подключите все электроды к конвертеру и проверьте компьютер для сбора данных ЭЭГ, чтобы убедиться, что смещения электродов находятся в пределах плюс или минус 40 µV. Если электрод имеет очень большое смещение или создает шум, осторожно извлеките его из колпака.

Добавьте больше геля в корпус и замените электрод. Если проблема сохраняется для одного электрода или если в одном электроде возникает загрязнение импульсным артефактом, данные по этому каналу следует интерполировать по соседним электродам. После завершения записи настройте систему отслеживания взгляда, сначала прикрепив целевую наклейку над бровью в медиальной области глаза.

Запустите всплывающее приложение для калибровки на компьютере, который используется для предъявления стимулов. Начните новый сеанс и в выпадающем меню «Type» (Тип) выберите CMD. После ввода соответствующей команды нажмите кнопку отправки, чтобы включить регистрацию событий при запуске настройки камеры во всплывающем приложении для калибровки.

Расположите камеру так, чтобы целевая наклейка и зрачок испытуемого находились в центре для автоматического определения порога. Нажмите клавишу A на клавиатуре компьютера, подающего стимул. Отрегулируйте фокусировку, поворачивая объектив камеры, до тех пор, пока изображение отслеживаемого зрачка не станет четким.

Начните калибровку системы айтрекинга по испытуемому, нажав клавишу C на клавиатуре компьютера, используемого для предъявления стимулов. На экране в случайном порядке будут появляться точки в девяти различных положениях. Испытуемый должен смотреть на точку в момент ее появления, не пытаясь предугадать местоположение следующей точки.

Для проверки калибровки нажмите клавишу V. Точки снова появятся в случайном порядке. Если калибровка прошла успешно, взгляд испытуемого будет точно соответствовать каждой проверочной точке.

Если калибровка не удалась, убедитесь, что пороги отражения зрачка и роговицы установлены правильно. Пороги для зрачка и роговицы можно настроить на экране конфигурации камеры на основном компьютере станции; нажатие на стрелки вверх и вниз для зрачка и роговицы увеличивает и уменьшает соответствующие пороги. Убедитесь, что частота дискретизации установлена на 500 hertz, нажав кнопку 500 Hertz.

Сверните всплывающее окно приложения для калибровки на компьютере для предъявления стимулов и начните запись данных о взгляде, щелкнув правой кнопкой мыши по значку iLink на панели задач и выбрав «Start recording». Запустите видеозапись на компьютере для захвата видео с помощью программного обеспечения Black Magic Media Express. Затем начните запись ЭЭГ на компьютере для сбора данных ЭЭГ, нажав кнопку паузы.

Теперь перейдем к предъявлению стимулов: компьютер запускает игру Polus — специально разработанную игру, предназначенную для обеспечения экологической валидности без ущерба для экспериментального контроля. В одной из игр испытуемые должны спасти грузовое судно, подвергшееся атаке. Задача «go/no-go» реализована путем введения червоточин, из которых появляется либо союзник, помогающий игроку, либо противник, наносящий игроку вред. Кроме того, в другой игре игроки выполняют задачу на когерентность движения точек, управляя космическим кораблем в дрейфующих звездных полях.

Испытуемые должны использовать радарный экран для сбора астероидов в модифицированной задаче Познера, при которой четыре сектора, в которых могут появляться астероиды, мерцают с разными фундаментальными частотами. Изменения в спектральном составе ЭЭГ позволяют затем оценить внимание на основе амплитуд частот, маркирующих каждый сектор. В другой игре испытуемым предлагается помочь в заключении галактического договора, определяя эмоции, изображенные на лицах.

Каждую из пяти иконок лиц необходимо расположить на пустых клетках игрового поля так, чтобы создать ряд или столбец из трех лиц, выражающих одну и ту же эмоцию. В четвертой игре реализуется тест Салли-Энн на проверку теории разума игроков. Следите за капитаном Салли, пока она размещает свой груз на одной из четырех планет.

Роль Анны исполняет космический пират, который перевозит груз на другую планету. В завершение адмирал наблюдает за действиями капитана и пирата и передает капитану информацию о том, что делает пират. Затем игроки должны проложить курсы перехвата для капитана и пирата, предполагая, где каждый из них будет искать груз, тем самым реализуя теорию разума первого и второго порядка в рамках сравнения нескольких условий.

Последние результаты в области взаимодействия человека и компьютера указывают на эффективность игрового контекста для создания и поддержания мотивации при выполнении задач, которые в противном случае могли бы не казаться столь увлекательными. В рамках одного экспериментального сеанса можно выполнить множество когнитивных задач в ходе множества повторяющихся проб, не вызывая у испытуемого утомления. Это особенно важно, поскольку для получения достаточного количества проб для усреднения ЭЭГ испытуемые должны пройти около ста проб для каждого условия стимуляции. Для слуховых стимулов замените пассивные динамики на компьютере подачи стимулов на активные колонки.

Затем подключите и включите усилитель. Установите уровень громкости на отметку 60. Это необходимо для достижения максимального уровня звукового давления (SPL) в 80 децибел по завершении игр испытуемым.

Выйдите из игры и прекратите запись данных, нажав кнопку остановки в графическом интерфейсе на каждом компьютере, используемом для регистрации видео, отслеживания взгляда и записи ЭЭГ. Выключите блок-конвертер ЭЭГ и отсоедините все электроды от блока.

Снимите адгезивные кольца и поместите их в теплую дистиллированную воду. С помощью распылителя с дистиллированной водой удалите остатки геля с электродов, а для очистки колпачка электродов от геля используйте теплую проточную воду с мылом. Теперь мы представим типичные результаты ЭЭГ.

Здесь представлен график спектральных возмущений, связанных с событием, полученный с фронтального срединного электрода fz. В данной игре «появление врага» соответствует появлению вражеского корабля или условию «go» (действие), а «появление союзника» соответствует появлению союзного корабля или условию «no-go» (бездействие) во время выполнения задания no-go. Как правило, у типично развивающихся детей наблюдалась значительно большая мощность ЭЭГ в гамма-диапазоне по сравнению с детьми с расстройствами аутистического спектра.

При выполнении данной процедуры важно избегать прикосновений к контактам электродов, пережимания проводов или использования избыточного количества геля.