基于稳态视觉诱发电位的人形机器人脑-机交互实验流程

本方法的总体目标是通过整合多种软件程序，建立一种基于 S-S-V-E-P 的实验流程，以实现对人形机器人脑-机交互的研究。该方法首先在人类受试者头部放置 EEG 电极，通过 EEG 数据采集系统记录其脑部反应。在闭环控制实验中，使用用户界面诱发 S-S-V-E-P 脑电响应，并实时显示视频反馈。

第二步是记录受试者的脑电（EEG）信号，以离线分析其S-S-V-E-P特征，并为每位受试者训练分类器。接下来，配置在线信号处理器和机器人控制器，以实现对人形机器人Robert的在线控制。最后一步，受试者在不同环境中完成三项特定的闭环控制实验。

为了评估人脑与机器人 Robert 的交互性能，结果显示了受试者注视以不同频率闪烁的刺激源时所产生的脑电信号的归一化功率谱密度。我们的系统将这些脑电波模式转化为控制 Robert 行为的指令。通过这种方法，受试者能够利用脑电信号与类人机器人 Robert 实现交互。

这使得人形机器人Robert能够执行机器人研究中常见的典型任务，并有助于为残障人士提供辅助。该方法的优势在于其可靠性和灵活性，因为它通过整合多种软件程序（如开放宽图和中央软件）以及用户开发的C++和Matlab相关程序而实现。该方法能够实现对人形机器人在行动中进行脑-机器人交互研究。

本研究旨在协助病人和老年人，以及执行不卫生或危险的工作。我的队友 Lim 和 Han 现在将演示脑电图传感器的放置方法，并分别展示与人脑连接至机器人的方法。向受试者解释实验的操作步骤。

获得参与实验的知情同意。测量受试者的头围，选择与测量值相近的 EEG 帽尺寸。测量鼻根点（NAS）标记之间距离的 10% 作为对齐脑电帽的参考基准。

在受试者头顶位置标记出该点到颅顶距离的中点。将脑电帽的Cz电极置于颅顶，并使10%标记与FP1和FP2电极之间的中点对齐。确保Fz、Cz、Pz和Oz电极位于头部中线上。

用导电凝胶将参考电极涂抹于电极表面。使用医用胶带将参考电极分别置于左侧和右侧 OID 上。收紧链条绑带。

将钝头注射器放入电极托架中，并按以下顺序向每个电极注入导电凝胶：首先注入接地电极，其次注入实验 O 2 0 1 OZ.PZ 和 cz 所用的五个电极。让受试者坐在舒适的椅子上，距离刺激显示器 60 厘米。

将电极导线连接到脑电图（EEG）数据采集系统。将采样率设置为每秒一千赫兹。在专用的数据处理计算机上检查脑电图信号质量。

如果特定电极存在问题，请重新注入凝胶以调节通道的阻抗。在用户界面上闪烁四个以不同频率呈现的机器人图像，作为视觉刺激。

对于首次参与的受试者，需进行离线训练实验，以建立其 S-S-V-E-P 特征向量并训练分类器。每位受试者进行 32 次试验，并在整个过程中记录其脑电信号。当一次试验开始时，随机选择一个刺激作为目标，并在其上方显示一个黄色箭头。

一秒钟后，在用户界面上以不同频率闪烁四个视觉刺激，持续五秒钟，要求受试者集中注意力于选定的刺激目标，同时尽量减少身体活动。每次试验结束后，给予受试者三秒钟时间放松，然后开始下一次试验。

当所有试验结束后，读取保存的数据。垂直的橙色条表示触发信号，用于选择在五秒期间闪烁的刺激作为目标。在每次试验中，提取触发信号后两秒至五秒之间的三秒数据片段。

利用参考信号 y 计算多通道脑电图（EEG）数据的典型相关分析（CCA）系数，其中参考信号 y 设定为特定频率下的周期性刺激信号。CCA 方法通过寻找线性组合向量，以最大化组合信号之间的相关系数。使用计算得到的 CCA 系数对多通道 EEG 数据进行空间滤波。

使用快速傅里叶变换计算滤波数据的功率谱密度。将功率谱密度相对于其在3 Hz至40 Hz范围内的平均值进行归一化处理。然后针对每个刺激频率校准分类参数。

通过打开擦拭设置窗口来配置受试者的分类参数。在数据处理计算机上启动在线信号处理器。每隔0.5秒从EEG系统的O2、0、1、OZ、PZ和CZ通道采集EEG数据，并提取最近三秒钟的数据段进行在线处理。

使用离线处理中描述的算法处理数据段。计算用于分类的实时功率谱密度。当某一特征频率的幅度超过给定阈值时，将闪烁频率与该特征频率对应的刺激进行分类。

以SSV EEP靶标为目标，启动人形Noro机器人，并建立其与数据处理计算机之间的Wi-Fi连接。配置并运行机器人控制器，该控制器接收来自在线信号处理器的分类结果，并通过无线连接控制人形机器人Robert的相应行为。在专用的刺激呈现计算机上运行编排程序，以在用户界面上显示来自Robert摄像头的实时视频反馈。

要求受试者在不同环境中完成三项特定的闭环控制测试，以评估脑-机器人交互性能。这些测试在机器人研究中较为常见，有助于协助残障人士和老年人的日常生活。在开始新任务前，需向受试者说明任务目标以及可用于控制的行为选项。

这些结果展示了处理脑电图（EEG）数据的流程，包括提取多通道数据片段、利用典型相关分析（CCA）系数对数据进行空间滤波，以及计算归一化的功率谱密度。此处显示了受试者注视不同闪烁目标时单次试验中获得的归一化功率谱密度。在首次闭环控制实验中，人类受试者Noah Robert通过脑电信号控制，实现了绕过障碍物并按下墙上电灯开关的动作。

脑信号被实时获取。为了分类受试者的控制意图，受试者通过观看实时视频反馈，注视相应的刺激来控制Robert的行为。当到达开关位置后，受试者控制Robert打开电灯。

在第二次实验中，根据视频反馈，通过出口标志引导人形机器人持续向楼梯方向移动。当遇到过路的间谍时，受试者控制Robert说“不好意思”，并等待过路间谍让行。随后，受试者控制Robert走向楼梯。

在第三次实验中，人形机器人Robert通过全身运动被控制，根据实时视频反馈，到达并拾取气球目标，然后将其递送到受试者手中。由于人类意图是通过解析LU时间的脑电图（EEG）信号来感知的，因此在进行实验前验证电连接和EEG信号质量至关重要。采集EEG信号时另一个常见问题是干扰、伪迹和噪声。

通过减少受试者的身体运动并采用基于典型相关分析（CCA）的多通道技术，我们方法中的干扰得到了改善。该方法适用于设计多种实验流程，灵活地研究脑-机交互算法与技术，尤其能够便捷地探索新的脑-机交互（BRI）应用。