人类多指抓握过程中手与物体接触区域的估计

以往关于人类抓握行为的研究局限于在严格控制的场景下进行的高度受限的测量。我们的实验方案能够对复杂的自然抓握行为进行更为丰富的表征。该技术利用多指抓握所产生的手部与物体接触表面的详细图谱。

这使得我们能够以前所未有的精细程度研究人类如何抓握物体。准确测量人类的抓握能力对于理解运动控制、触觉感知以及人机交互至关重要。这些数据可为机器人夹持器和上肢假肢的设计提供依据。

演示该实验操作的是Kira Dehn，她是我实验室中正在完成硕士论文的研究生。首先，将工作台置于一个由环绕工作区域的支架上安装的运动追踪相机系统中，确保该工作区域可从多个角度被成像。通过在每个反光标记物底部粘贴双面胶带，制备反光标记物。

以管理员身份运行 Qualisys Track Manager（QTM）。将 L 形校准物体放置在追踪范围内。在 QTM 中，点击“采集”菜单中的“校准”，并等待校准窗口打开。

选择校准持续时间，然后按“确定”。在校准持续期间，将校准棒在跟踪范围内挥动。按下“导出”按钮，并指定文件路径以将校准数据导出为文本文件。

通过点击“确定”接受校准。要创建刺激对象，请构建一个以多边形网格形式存在的虚拟三维对象模型，并使用3D打印机制造该对象模型的物理复制品。

为准备刺激对象，将四个非平面反射标记物贴附在真实物体的表面。将该物体置于追踪范围内。在项目仓库中，运行指定的 Python 脚本。

按照脚本提供的说明，对物体标记点的三维位置进行一秒时长的捕捉。选择刚体的所有标记点，右键单击并选择“定义刚体”或“6自由度”，然后选择“当前帧”。

输入刚体的名称，然后点击“确定”。在“文件”菜单中，选择“导出为TSV”。在新窗口中，于“数据类型”设置下勾选“3D”、“6D”和“骨骼”。

勾选常规设置中的所有选项框。点击确定，然后保存。打开 Blender 并切换到脚本工作区。

打开指定文件，然后点击运行。切换到布局工作区，按 N 键以展开或收起侧边栏。在侧边栏中，导航至自定义选项卡。

选择要共配准的 obj 文件，然后点击“加载对象”按钮。选择之前导出的轨迹文件，并指定附着在刚性物体上的标记点名称，各名称之间用分号隔开。在标记点表头中，指定轨迹文件中包含数据列名称的那一行。

接下来，选择具有 6D 后缀的相应刚体文件，并指定在之前步骤中定义的刚体名称。在 6D 文件头中，指明刚体文件中包含数据列名的行。点击“加载标记”（Load Markers），然后平移和旋转标记对象或物体以使其对齐。

指定一个网格输出文件，然后点击“运行配准”以输出包含配准后刺激网格的 obj 文件。使用双面胶带将 24 个球形反光标记点附着在受试者手部的不同解剖标志点上。将标记点居中贴于示指、中指、无名指和小指的远端指间关节、近端指间关节以及掌指关节的指尖顶部中央位置。

对于拇指，在指尖和基底部腕掌关节处各放置一个标记点，在掌指关节和指间关节处各放置一对标记点。最后，在腕关节中心和舟-小多角-大多角关节处放置标记点。要求受试者将手平放在工作台面上，掌心朝下，并闭上眼睛。

将刺激物体放置在受试者前方的工作台上。在QTM运行的同时，执行项目仓库中指定的Python脚本。要求受试者睁开眼睛，并根据脚本提供的指示完成一次抓取刺激物体的试验。

在QTM中，将未识别轨迹中的各个标记轨迹拖放到已标记轨迹上，并根据命名规范对其进行标注。选择所有附着在手部的标记，单击右键，然后从选中项中选择“根据标记生成AIM模型”。在新窗口中，选择“基于现有AIM模型的标记连接创建新模型”，然后点击“下一步”按钮。

选择 RH_FH 模型定义，然后点击打开。点击下一步，输入 AIM 模型的名称，然后点击确定。最后，点击完成，为该受试者的手部创建一个 AIM 模型，以在后续相同受试者的试验中自动识别标记点。

在 QTM 中，通过点击齿轮图标打开项目设置。在侧边栏中，导航至 Skeleton Solver（骨骼求解器），点击 Load（加载）以选择骨骼定义文件。将缩放因子调整为 100%，然后点击 Apply（应用）。

转到 TSV 导出界面，在数据类型设置中勾选 3D、6D 和骨骼选项。在常规设置中勾选所有选项。点击应用并关闭项目设置。

按下重新处理图标，然后勾选“求解骨架”和“导出为TSV文件”选项，再按“确定”。在项目仓库中打开一个命令窗口，通过执行指定命令激活conda环境。接着执行指定命令，并根据脚本提供的说明，为试验的每一帧生成重建当前手部姿态的手部网格。

为了估计手部与物体的接触区域，执行指定命令并按照脚本提供的说明，通过计算手部与物体网格模型的交集来生成手部和物体接触区域的估计结果。在本研究中，通过附着在手部不同解剖标志点上的24个球形反射标记点记录抓握过程的动力学数据。此处展示了对预训练深度手部网格解码器所做的修改。

首先，由于该网络未针对特定参与者进行训练，因此采用预训练模型提供的通用身份依赖型网格校正。此外，使用 QTM 骨骼解算器（QTM Skeleton Solver）推导出身份依赖型骨骼校正。假设手部相对于骨骼长度呈比例缩放，并根据骨骼相对缩放比例得出的因子，对网格厚度进行均匀缩放。

展示了当前手势在与三维追踪物体网格相同坐标系下的最终三维手部网格重建结果。视频中显示了一只手，其被追踪的关键点与共同配准的网格在抓取一个3D打印的猫形摆件过程中同步移动。另有一帧图像取自抓取3D打印牛角面包时手与物体接触的瞬间，同时展示了手部和物体的网格重建结果，以及在牛角面包表面估计的接触区域。

物体及其附着的标记物需要进行精确的配准。充分对齐二者非常重要，因为偏差可能对接触区域的估计产生显著影响。除了接触表面外，该方法还可提供每个手指关节的关节欧拉角。

这些可用于研究多指抓握过程中手部姿势随时间的变化。