Экспериментальная платформа по изучению обратной связью Выполнение Брейн-машинных интерфейсов

Мы используем активность зрительного интернейрона в мозге мухи, клетки H1, для управления двигателями мобильного робота. Робот помещен на постоянно вращающийся поворотный стол, и активность клетки используется для стабилизации робота относительно окружающей среды при воздействии внешних перемещений. Изображения движения паттернов, записанные роботом, подвергаются дискретизации и передаются на два компьютерных ЭЛТ-монитора, расположенных перед мухой.

Сигналы клетки H1, измеренные в количестве спайков в секунду, указывают на скорость движения паттерна. Затем применяются различные законы управления для преобразования зарегистрированного количества спайков в секунду в управляющий сигнал для двигателей робота. Здравствуйте, я Навита Джош из лаборатории Хольгера Кропса на кафедре биоинженерии Имперского колледжа Лондона.

Я Крис Питерсон из лаборатории Хольгера Каппа. Здравствуйте, я Хольгер Капп. Сегодня мы продемонстрируем процедуру создания нейрокомпьютерного интерфейса между отдельными клетками зрительной системы мухи и роботом.

Данная процедура используется для тестирования эффективности различных стратегий управления с использованием нейронных сигналов для контроля роботизированных систем при закрытых губах. Приступим к работе. Для начала подготовки мухи охладите её на льду, затем с помощью затупленных коктейльных палочек прижмите крылья и закрепите заднюю часть мухи на кусочке двухстороннего скотча, приклеенного к предметному стеклу микроскопа. Далее используйте пчелиный воск, чтобы прикрепить крылья к стеклу, а также чтобы заблокировать работу полетных мышц.

Этот этап требует быстрых и точных действий, чтобы муха не успела нагреться в ходе процедуры. Теперь под микроскопом зафиксируйте каждую ножку пинцетом и с помощью маленьких ножниц отсеките их в суставах, ближайших к телу. Повторите то же самое для хоботка.

Чтобы муха не высохла, отверстия необходимо запечатать воском. Затем отрежьте одно из крыльев и положите муху на бок. Удалите оставшиеся части крыла, сохранив katra, закройте Hal tears и запечатайте отверстие воском.

Повторите эту процедуру для другого крыла. Чтобы стимулировать целевой нейрон определенным образом, голову мухи необходимо правильно выровнять относительно компьютерных мониторов. Для этого вам понадобится специальный держатель, имеющий широкое пространство для тела мухи и приспособление на одном конце с вырезом, в который будет помещена шея мухи.

Поместите муху на держатель так, чтобы ее шея находилась в выемке, прижимая ее и приклеивая брюшко на месте. Теперь установите держатель для мухи в штатив таким образом, чтобы через микроскоп была видна передняя часть головы мухи. При освещении красным светом в каждом глазу можно наблюдать оптический эффект, называемый псевдозрачком.

Если ложный зрачок принимает определенную форму, значит, положение головы мухи точно определено. С помощью микроманипулятора правильно ориентируйте голову мухи, затем зафиксируйте ее на держателе с помощью воска. После этого прижмите торакс к держателю и закрепите его воском.

Это позволяет открыть заднюю часть капсулы головы для введения электродов в мозг мухи. С помощью микроскальпеля или тонкой инъекционной иглы аккуратно вырежьте окно в кутикуле правой части капсулы головы. Будьте осторожны, чтобы не повредить нервную ткань, расположенную непосредственно под кутикулой. После удаления фрагмента кутикулы добавьте несколько капель раствора Рингера.

С помощью пинцета удалите любые плавающие волоски, жировые отложения или мышечную ткань, которые могут закрывать пластину LOA. Пластину LOA можно узнать по характерному разветвленному рисунку серебристых трахей, покрывающих ее заднюю поверхность. Сделайте небольшое отверстие в кутикуле левой задней части капсулы головы для размещения референтного электрода с подготовленной мухой.

Разберем, как правильно расположить регистрирующий электрод. Регистрирующий электрод должен быть помещен в непосредственной близости от нейрона H1. Нейрон H1 в основном реагирует на горизонтальное движение сзади вперед, представленное в его рецептивном поле.

Для позиционирования регистрирующего электрода используйте трахею в качестве визуального ориентира. Первоначально поместите электрод в области верхней части трахеи. Для преобразования зарегистрированных электрических потенциалов в акустические сигналы рекомендуется использовать аудиоусилитель.

Каждый отдельный спайк преобразуется в характерный щелчок. Чем ближе электрод подходит к отдельному нейрону, тем отчетливее становится этот звук. Чтобы идентифицировать нейрон типа H1 по его предпочтению к движению, стимулируйте его движением в горизонтальном направлении.

После установки регистрирующего электрода перейдем к визуальной стимуляции и записи данных. Для начала поместите муху перед двумя ЭЛТ-мониторами. Поскольку зрительная система мухи в 10 раз быстрее человеческой, мониторы должны отображать 200 кадров в секунду.

Центры мониторов расположены под углом плюс или минус 45 градусов относительно ориентации мух. С точки зрения экватора глаза мухи каждый монитор охватывает угол плюс или минус 25 градусов в горизонтальной плоскости и плюс или минус 19 градусов в вертикальной плоскости. Сигнал на компьютерные мониторы подается с двух видеокамер, установленных на небольшом двухколесном роботе SRO, который был модифицирован для данного эксперимента.

Разместите робота на поворотном столе внутри цилиндрической области, стенки которой оклеены паттерном из вертикально ориентированных черных и белых полос. За счет вращения поворотного стола в горизонтальной плоскости перемещения робота ограничиваются только одной степенью свободы. Первоначально и поворотный стол, и робот находятся в состоянии покоя.

Когда поворотный стол начинает движение, его вращение переносит робота в том же направлении, и видеокамеры фиксируют относительное движение робота относительно полосатого паттерна арены. Видеокамеры с аккумуляторным питанием, установленные на роботе, ориентированы под углом плюс или минус 45 градусов. Они делают 200 снимков в секунду, чтобы соответствовать частоте кадров компьютерных мониторов перед журналом регистрации мух.

Изображения предъявлялись на компьютерных мониторах с частотой 200 кадров в секунду при разрешении 40 на 80 в градациях серого. Пока муха наблюдала за движением полосатого паттерна, регистрировались полософильтрованные электрические сигналы, например, в диапазоне 302 kHz, с помощью платы цифрового сбора данных с частотой дискретизации не менее 10 kHz. К полософильтрованным электрическим сигналам применялся порог для отделения спайков от фоновой активности.

Для получения сглаженной оценки спайковой активности клетки H1 с целью замыкания контура интерфейса «мозг-компьютер» к спайкам применяется свертка с каузальным полугауссовым фильтром. Для преобразования частоты спайков клетки H1 в скорость робота используется алгоритм управления, при этом сигнал передается через интерфейс Bluetooth для управления двумя двигателями постоянного тока, приводящими в движение колеса робота. В качестве профилей скорости для поворотного стола выбраны чистые синусоиды.

Синусоидальные волны имеют смещение по постоянному току, благодаря чему поворотный стол вращается только в том направлении, которое стимулирует нейрон H one вдоль его предпочтительного направления. Вся система управления настроена таким образом, чтобы стимуляция нейрона H one приводила к компенсации роботом движения поворотного стола при правильной настройке. Визуальная стабилизация достигается, когда контрвращение робота совпадает с вращением поворотного стола, в результате чего движение паттерна на компьютерных мониторах становится минимальным или полностью прекращается.

Общая эффективность системы зависит от алгоритма управления, используемого для замыкания контура. Первый протестированный нами алгоритм — пропорциональный регулятор, при котором обновленная скорость робота пропорциональна разности угловых скоростей робота omega R и поворотного стола Omega P. Для проверки эффективности регулятора выбираются различные значения статического коэффициента усиления KP и входные частоты сигнала поворотного стола omega P.

Здесь представлены примеры траекторий для omega P и omega R при значении KP, равном одному, и входной частоте 0,6 hertz для omega P; робот (зеленого цвета) следует за поворотным столом (синего цвета) с запаздыванием и меньшей пиковой амплитудой. Горизонтальная составляющая движения паттерна, стимулирующая клетку H one, показана справа красным цветом. Входные частоты для сигнала поворотного стола omega P выбираются в диапазоне от 0,03 до 3 hertz, и регистрируется соответствующий сигнал робота omega R.

Оба сигнала переводятся в частотную область с помощью быстрого преобразования Фурье, после чего на входной частоте вычисляются значения амплитуды и фазы. График модуля БО для пропорционального регулятора при KP, равном одному, демонстрирует отклик системы на исследуемых входных частотах. Эффективность регулятора в целом снижается с увеличением частоты.

Незначительное увеличение коэффициента усиления на частоте 1 Гц обусловлено осцилляциями сигнала робота из-за использования только одной клетки H1, чей динамический диапазон выхода в основном охватывает горизонтальное движение вперед-назад. На диаграмме Боде видно, что фазовый сдвиг контроллера составляет менее π для входных частот менее 0,6 Гц. Это показывает, что контроллер стабилен для частот менее 0,6 Гц и нестабилен для входных частот более или равных 1 Гц.

Эффективность пропорционального контроллера со статическим KP сравнивали с адаптивным контроллером, в котором значение KP обновлялось каждые 50 миллисекунд. Оценка проводилась на основе максимальной частоты вспышек F max, рассчитанной за временной интервал от T минус 500 миллисекунд до T. Из-за большого окна интегрирования пропорциональный контроллер показал лучшие результаты, чем адаптивный, в протестированном диапазоне параметров; адаптивный контроллер имел фазовую характеристику, схожую с пропорциональным контроллером; градуировочный шаблон вокруг поворотного стола был удален, а лабораторная обстановка использовалась в качестве аппроксимации естественного визуального стимула для клетки H1 мухи.

В среднем график амплитуд Бодхи для натуралистичного визуального стимула продемонстрировал несколько более высокие коэффициенты усиления, чем график для градуированного визуального стимула, вероятно, из-за использования более широкого диапазона пространственных частот в натуралистических визуальных изображениях. Характеристики графика фаз Бодхи для градуированных и натуралистических визуальных стимулов были схожими. Мы только что продемонстрировали вам способ создания нейрокомпьютерного интерфейса между клеткой, зрительной системой и роботом.

В данной процедуре есть несколько критических этапов. Во-первых, избегайте глубоких надрезов при вскрытии головной капсулы, чтобы не повредить мозг. Во-вторых, осторожно установите электрод таким образом, чтобы запись велась только от одной клетки; мы регистрируем активность H-клетки.

В-третьих, постоянно поддерживайте мокрую среду для мозга и не допускайте его пересыхания. На этом всё. Спасибо за просмотр и удачи в проведении экспериментов.