利用高分辨率表面肌电图与计算机视觉捕捉动态手指手势

我们的研究重点是利用同步的肌电图（EMG）和视觉数据来提升动态手势识别的准确性。我们旨在确定肌肉活动在不同手部位置下映射手指手势的精确程度，以及如何利用该技术增强假肢康复和人机交互中的应用效果。本研究方案通过实现肌肉活动在多种动态手部位置下对手指手势的映射，弥补了当前手势识别领域存在的技术空白。

我们的方法在动态运动过程中采集并同步肌电图（DMG）和视觉数据，为开发鲁棒的手势识别模型奠定了基础。与传统的静态设置方法不同，本方案在动态运动期间采用无线EMGRA和手部追踪系统，确保了手势识别研究中数据采集的灵活性和更高的真实性。首先，打开GitHub代码仓库，并按照安装部分的详细说明进行操作。

在文件夹中找到主 Python 文件 data_collection.py，并准备运行实验。使用 spectrogram 脚本。

py 用于评估肌电图（简称 EMG）信号质量，以及用于信号滤波和分割的数据分析脚本。每次实验前，请确保肌电数据采集单元（简称 DAU）已充满电，然后打开 DAU。

使用专用应用程序通过蓝牙将DAU连接到PC。将蓝牙通信速率设置为每秒500个样本。在PC上安装并打开手部追踪相机软件。使用数据线将手部追踪相机连接到PC。

使用一个屏幕始终显示手部追踪相机软件。开始时，指导参与者将右手握成一个有力的拳头。当参与者屈曲手部时，轻轻按压其前臂以触诊肌肉，并确定肌肉激活最明显的部位。

从肌电图（EMG）电极阵列上揭去白色的保护层，并小心地将电极贴附于已确定的前臂区域。将胶带贴附在靠近手掌的位置，并轻轻按压以固定电极阵列。电极阵列贴附到皮肤后，揭去透明的支撑层。

接下来，将电极阵列连接器插头插入数据采集单元（DAU）的连接插座中。将数据采集单元（DAU）固定在电极旁边的粘性胶带上。运行自定义的 Python 语谱图脚本，以验证实时信号质量。

观察显示窗口，左侧为所有电极的原始数据，右侧为频域数据。确认所有电极均已被检测到且正常工作，信号无过度噪声及50赫兹干扰。如有需要，可拔掉不必要的设备电源插头，并远离电子设备以减少噪声，同时留出足够时间使信号稳定。

接下来，指导受试者将肘部放在扶手椅上并活动手指，然后要求其放松。确保显示出清晰的肌电图（EMG）信号，随后出现稳定的基线噪声。信号验证完成后，关闭脚本。

为查看动作位置，先点击手指姿态估计，然后进行数据采集以打开图像文件夹。与参与者一起查看手势图像，并向其清晰地解释正手动作的位置。

在每次实验开始前，指导参与者如何摆放手部姿势，确保其姿势正确且位置恰当。对于第一种手部位置，要求参与者直立站立，距离桌子约一米。然后，指示参与者将右手自然下垂，保持手臂伸直且放松，手掌朝向手部追踪摄像头。

使用自拍杆将手部追踪相机固定在桌面上，并调整其方向，使其正对受试者的手部。确保受试者在蜂鸣声响起时立即做出明确的手势动作，休息期间手掌保持放松状态。对于手部位置二，指导受试者舒适地坐在扶手椅上，距离显示器40至70厘米。

然后，要求受试者将右手向前伸展至与身体呈90度角，手掌放松并朝向手部追踪相机。如有必要，可使用支撑装置以保持手部稳定。将手部追踪相机放置在桌面上，镜头朝上。

确保受试者在蜂鸣声响起时立即做出明确的手势，休息期间手掌保持放松。对于手部位置三，要求受试者将手向上弯曲，同时肘部 resting 在扶手椅上。确保手掌放松，并朝向手部追踪相机。

将手部追踪摄像头固定在桌面上，使其正对参与者的双手。确保参与者的位置既能清晰地看到屏幕，又处于摄像头的视野范围内。要求参与者在听到提示音时立即做出明确的手部动作，随后在休息期间保持手掌放松。

对于手部位置四，要求参与者在自由移动手部的同时执行手指手势，可选择动态手部位置一、动态手部位置二或动态手部位置三。打开计算机，启动 Python，加载脚本 data_collection.py。调整手部追踪相机的位置和角度，使其与参与者的手部位置对齐。

运行 data_collection.py 脚本。将弹出一个窗口，用于输入参与者的信息。

填写所需信息，然后点击“确定”以自动开始实验。每次实验过程中，记录肌电图（EMG）和手部追踪数据，这些数据将自动保存。实验结束后，确保数据已自动保存至以参与者序列号命名的文件夹中。

确认每个会话均存储在名为 S 编号的子文件夹中，该文件夹包含四个以 P 编号命名的、对应不同手部位置的子文件夹。若某位受试者完成了多个会话，请确认所有数据均已保存在相应的会话文件夹中。确保每个手部位置文件夹均包含以 EDF 文件格式保存的肌电图（EMG）数据、以 CSV 文件格式保存的手部追踪数据，以及一个包含会话元数据的日志文件。

与静息阶段相比，肌电（EMG）通道在手指外展阶段显示出增强的电活动，表现为所有通道信号振幅升高，机械伪迹则表现为尖锐的尖峰。手部运动学数据显示，手指角度变化与指令要求的外展动作同步，在无障碍跟踪过程中信号轨迹稳定，而在未对齐的区段则可见明显偏离。