用于基于模型的位姿估计开发与新用户培训的双平面视频放射照相数据集

摘要

本研究提供了一个通过基于标记的方法估计骨骼姿态的体内数据集。文中包含一种用于培训操作人员改进其基于模型的姿态初始估计并降低操作者间差异性的方法。

摘要

测量足部小骨骼的运动对于理解病理性功能丧失至关重要。双平面视频透视成像技术非常适合用于测量in vivo（活体）骨骼运动，但在估算每块骨骼的旋转与平移（位姿）时仍存在挑战。骨骼位姿通常通过基于标记物或基于模型的方法进行估算。基于标记物的方法虽然精度很高，但由于具有侵入性，因此在in vivo（活体）研究中较少使用。基于模型的方法更为常见，但目前精度较低，因其依赖于用户输入和实验室特定的算法。本研究提供了一套罕见的in vivo（活体）数据集，包含跟骨、距骨和胫骨在跑步与跳跃过程中的位姿，这些数据通过基于标记物的方法测量获得。本文还提供了一种培训方法，指导用户利用基于标记物的视觉反馈，改进其在基于模型的位姿估算软件中的初始估计。新操作者能够将骨骼位姿的估算误差控制在旋转±2°以内、平移±1 mm以内，接近基于模型软件专家用户的水平，且显著优于以往报道的操作者间变异性。此外，该数据集可用于验证其他基于模型的位姿估算软件。最终，共享此数据集将提升用户从双平面视频透视成像中测量骨骼位姿的速度与准确性。

引言

测量足部小骨的运动对于理解病理性功能丧失至关重要。然而，由于足部骨骼和关节体积小且排列紧密，动态测量足骨运动具有较大挑战性^1,2。双平面视频放射照相（BVR）技术适用于在动态活动中测量足部和踝关节小骨的体内三维（3D）运动。BVR通过两个X射线源与影像增强器耦合，将动态运动的X射线转换为可见光，从而获取关节运动学信息。当足部在捕捉空间内运动时，高速相机采集图像，并利用标定后的相机位置对图像进行去畸变处理并投影至捕捉空间^3,4。随后，采用基于标记物或基于模型的方法估算骨骼的六自由度（6 d.o.f.）位姿（3个自由度表示位置，3个自由度表示方向）³。

基于标记物或模型的位姿估计算法在不同实验室和学科之间存在差异。动态双平面X线摄影（BVR）位姿测量的金标准是在目标骨内植入微小的钽标记物^4,5。每块骨至少需要植入三个标记物才能估算其位姿，而增加标记物数量可提高测量精度^5,6。由于该方法具有侵入性，需通过手术植入，且标记物将永久嵌入骨组织中，因此在活体（in vivo）研究中的应用较少⁷。另一种方法是基于模型的追踪技术，该方法利用其他成像模态（如计算机断层扫描（CT）或磁共振成像）获取的容积信息，在BVR图像上重建三维模型^{2,3,8,9,10,11,12,13,14,15}。随后通过半手动方式调整模型以最佳匹配图像（即逐帧描记，rotoscoping），通常结合用户输入提供初始估计，并采用互相关优化算法进行精调^3,8,9,10,15。基于模型的位姿估计算法侵入性较低，因此应用更为广泛，但其处理时间较长，且需要人工参与。由于目前的描记过程仍为半自动操作，操作人员需接受可靠培训，因为不同操作者之间的均方根（RMS）误差在单个轴向上可达到0.83 mm至4.96 mm，角度误差可达0.58°至10.29°¹。此外，尽管模型匹配算法正在不断改进，但仍需通过尽可能接近活体（in vivo）条件的实验范式进行验证。

基于模型的姿态估测准确性通常以基于标记物的测量指标作为参照进行评估。例如，已有研究通过在植入标记物的人体尸体足部上模拟运动姿势来进行测试^13,14,16。采集到的双平面X线视频成像（BVR）图像随后输入基于模型的逐帧描记方法，并与基于标记物的测量结果进行比较，以评估其准确性（偏差与精确度）。尽管使用静态尸体足部是一种有价值的方法，但在评估真实in vivo骨块姿态准确性方面仍存在局限性。例如，由于缺乏肌肉活动和in vivo载荷，尸体足部的关节位置相对恒定，因此可能无法反映在多种运动任务中关节活动的实际范围。关节姿态的变化会影响BVR图像中的遮挡情况，而这对估算体积小且排列紧密的足部骨骼姿态时会引入测量误差¹³。此外，在使用图像匹配算法时，BVR图像中标记物的存在很可能导致结果产生偏差。尽管已有研究组从计算机断层扫描（CT）的医学数字成像与通信（DICOM）图像中去除了标记物^9,14,16，但这些标记物仅偶尔也从双平面X线视频成像图像中被移除¹⁶。

本研究提供了一个开源的BVR数据集，记录了一名参与者进行单脚跳和跑步的动作 体内，其足部和踝关节骨骼中植入了标记物（图1基于标记的位姿估计 体内 提供了胫骨、距骨和跟骨的骨骼运动数据。为减少在评估基于模型的追踪准确性时引入偏差，已将标记物从X射线和CT图像中移除。该数据集可用于评估任何基于模型的姿态估计算法的准确性，并优化半手动流程中初始姿态估计的选择。本数据集最适合旨在提升BVR图像处理流程速度与准确性的研究人员，以及希望在初始姿态估计中实现较低操作者间差异的实验室使用。

图1：提供的双平面视频放射照相（BVR）数据集概览。植入式标记物被用于in vivo追踪，作为骨骼位姿估计的金标准。为避免对基于模型的追踪产生偏差，已在BVR图像和计算机断层扫描中将这些标记物进行数字移除。任何基于模型的追踪软件所估计的位姿均可与基于标记的金标准进行比较。基于标记的位姿估计结果也可用于培训新操作人员，以提升其在基于模型追踪中的初始骨骼位姿估计准确性。请点击此处查看该图的放大版本。

方案

实验方案已获皇后大学健康科学与附属教学医院研究伦理委员会批准。参与者在参与数据收集之前已签署知情同意书。

1. 患者准备与数据集生成

注意：该受试者（男性，49岁，体重83 kg，身高1.75 m）此前已在跟骨（3个标记点）、距骨（4个标记点）和胫骨（5个标记点）植入多个直径为0.8 mm的钽标记点（图1）。

1. 在受试者踝关节处于最大程度跖屈姿势时，使用金属伪影减少算法（以减少金属植入物引起的图像失真）获取其足部的CT扫描图像，像素尺寸应为0.500 mm或更小，层厚应为0.625 mm或更小。
   注：本研究中，受试者的右足扫描分辨率为0.441 mm × 0.441 mm × 0.625 mm。标记物的位置并非置于骨骼内的特定解剖位置⁴；而是分布于整个骨骼之中⁵。
2. 有关双平面视频放射照相数据采集及详细处理方法，请参见文献¹⁷。简要而言，要求受试者完成目标动作，并调整起始位置，使其足部落入双平面视频放射照相的成像范围内。使用校准物体和去畸变网格分别确定相机位置并对图像进行去畸变处理¹⁸。
   注：本研究中的受试者完成了两种不同动作的试验。其以108 bpm节拍器的节奏单脚跳跃，并缓慢跑过成像区域。图像以250 Hz连续采集，快门速度为1111 µs，X射线系统设置为70 kV和100 mA。
3. 使用3D医学图像处理软件对标记物进行单独分割。在光栅图形编辑器中利用内容感知填充算法及已知的标记物位置，从DICOM图像中去除标记物。通过对无标记物图像进行分割生成骨骼的部分体积图像和面片化网格，方法见文献¹⁷。将部分体积图像和网格均进行对齐，并存储于CT空间中。
4. 在XMALab中，对每一帧中各标记物未经滤波的x-y图像坐标进行列表记录并导出¹⁸。使用MATLAB中的计算机视觉工具箱对三维坐标进行三角测量。通过最小二乘法将X射线空间中的三维标记物位置与CT空间中的球面拟合质心进行匹配，以估计姿态¹⁹。在光栅图形编辑器中使用相同算法去除X射线图像中的标记物，为后续追踪做好准备。

2. 访问数据集和代码

1. 从此处下载数据集。每个试验均包含BVR图像和校准文件，以及以.tra格式保存的参考姿态估计值（图2）。从以下地址下载或克隆代码包：https://github.com/skelobslab/JOVE_BVR_FootModelAndMarkerBased。

图 2：JOVE_BVR_Foot_ModelAndMarkerBased 训练包的数据结构树。 文件夹以黑色框表示，代码以浅灰色框表示，文件说明包含在深灰色框中。 请点击此处查看该图的放大版本。

3. 评估模型跟踪算法的准确性

1. 将姿态估计结果保存为该试验参考文件夹中的 .tra 文件。将 .tra 文件按 1 行 × 16 列的格式排列，每一行对应一个帧，4 × 4 姿态矩阵按[第一列、第二列、第三列、第四列]的顺序写出。
   注意：在此数据集中，骨空间与 CT 空间同义。
2. 通过在计算平台中打开脚本 verifyAssessmentPoses.m，然后点击 运行 来验证姿态估计结果。根据提示加载文件。该脚本将计算基于模型和基于标记的姿态估计之间的螺旋轴，并返回跟踪数据每一帧的旋转和平移差异。

4. 新操作员培训

注意：本节介绍针对新操作人员的带反馈训练。此处选用 Autoscoper 作为基于模型的位姿估计算法软件，但也可使用其他软件替代。

1. 从以下网址下载最新版本的姿态估计算法软件：https://simtk.org/projects/autoscoper。
2. 为定位本地 BVR 文件，请使用文本编辑器打开文件（.\JOVE_BVR_Foot_ModelAndMarkerBased\Data\SOL001A\T0019_jog0001\Autoscoper\POINTER_T0019_jog001.cfg）。该软件使用指针文件（.cfg）来定位相关文件。请修改目录路径，使其指向正确的本地文件。保存文件后关闭。
3. 为加载 BVR 图像和相机信息，请启动姿态估计算法软件，点击 加载试验（Load Trial）。浏览至前一步保存的指针配置文件，然后点击 打开（Open）。
4. 进行追踪时，请遵循 Akhbari 等人¹⁷ 中所述的协议（基于模型的追踪）。简要步骤如下：通过点击并拖动骨骼上的坐标轴来旋转和平移骨骼，直至对跟骨的位置和方向满意为止。按下键盘上的 S 键，保存当前帧的跟骨（cal）数据。
   注：滤波设置文件位于 \JOVE_BVR_Foot_ModelAndMarkerBased\Data\SOL001A\T0019_jog0001\Autoscoper\ 目录下，可参照 Akhbari 等人¹⁷ 的方法进行滤波处理。
5. 为保存文件，请点击 保存追踪（Save Tracking）。将文件保存为 [试验编号]_[受试者编号]_[试验名称]_[三位骨骼代码].tra 格式（例如：T0019_SOL001A_jog0001_cal.tra），并存放在指定目录下。导出设置应选择为：current、matrix、column、comma、none、mm、degrees。
   注：胫骨和距骨的三位骨骼代码分别为 tib 和 tal。
6. 为生成追踪精度评估文件，请打开计算平台并运行代码文件夹中的 animateBonesWithReferences.m 脚本。根据对话框提示，导航至训练包中的相应文件夹。
   注：animateBonesWithReferences.m 是专为训练设计的代码，可将基于标记点的数据所提供的姿态作为反馈，以帮助新操作者提高追踪准确性。
7. 从以下网址安装可视化软件：https://github.com/DavidLaidlaw/WristVisualizer/tree/master。为实现追踪结果的可视化，请在可视化软件中打开第 4.6 步生成的 .pos 文件；其文件路径可在计算平台的命令窗口中找到。
8. 验证被追踪骨骼（灰色）与参考骨骼的对齐情况。绿色表示姿态处于旋转和平移阈值范围内，红色则表示超出阈值。持续进行追踪和可视化，直到所有帧均显示为绿色。如有需要，可在 animateBonesWithReferences.m 脚本的第 10 和第 11 行修改阈值（phi — 旋转，trans — 平移）。
   注：若参考骨骼显示为红色（图 3A），表示其姿态与基于标记点的姿态之间的差异超过 1 mm 或 2°，该差异通过螺旋轴方法测量得出；若为绿色且视觉上合理，则表明该帧的追踪效果足够准确（图 3B）。
9. 为追踪踝关节复合体中的其他骨骼，请对距骨和胫骨重复执行步骤 4.4 至 4.8。使用可视化软件确保各骨骼之间未发生碰撞。
10. 为完成评估，请在名为“评估试验（assessment trial）”的试验中对胫骨、距骨和跟骨进行追踪与可视化。
    1. 打开计算平台并运行 animateBonesGeneral.m 脚本。根据对话框提示，导航至训练包中的相应文件夹。使用可视化软件中的 .pos 文件验证骨骼姿态。该代码可推广应用于其他试验，用于实现骨骼的三维可视化。
       注：真实的基于标记点的姿态数据将不再可用，仅显示灰色骨骼。
11. 为评估姿态估计结果，请在计算平台中打开 verifyAssessmentPoses.m 脚本并点击 运行（Run）。该脚本将计算基于模型与基于标记点的姿态估计之间的螺旋轴，并返回每帧追踪数据的旋转和平移差异。该过程将生成与 animateBonesWithReferences.m 相同的图表，但不生成动画。
12. 确认所有数据点在旋转和平移两个维度上均低于所选阈值（水平直线）。如有需要，将结果保存为 .csv 文件。

图3：可接受与不可接受跟踪效果的可视化展示。（A）使用基于模型的跟踪方法（灰色；亦由灰色箭头指示）追踪的跟骨，其姿态与基于标记点的姿态估计结果（红色；亦由红色箭头指示）未能充分匹配。（B）与基于标记点的姿态估计结果充分匹配的跟骨。此时，基于标记点追踪的跟骨以绿色显示（亦由灰色和绿色箭头指示）。请点击此处查看此图的放大版本。

结果

两名新操作员和一名专家完成了基于模型的培训。通过评估试验中的41帧图像测量了他们基于模型追踪的熟练程度（图4）。操作员的姿态估计通常远低于设定的阈值。各骨块在旋转方面的平均中位偏差（范围）分别为：跟骨0.75°（0.69°至0.85°），距骨0.40°（0.37°至0.46°），胫骨0.89°（0.76°至1.07°）。在平移方面的平均中位偏差为：跟骨0.10 mm（0.05 mm至0.16 mm），距骨0.31 mm（0.22 mm至0.41 mm），胫骨0.33 mm（0.27 mm至0.37 mm）。这些结果表明，该教程在训练操作员达到设定容差范围内具有良好的效果。

图 4：新操作者与专家的旋转和平移偏差。 小提琴图²⁰ 显示了两位新操作者和一位专家在基于模型与基于标记点的姿态估计之间的（A）（C）（E）旋转偏差和（B）（D）（F）平移偏差，分别对应（A）（B）跟骨、（C）（D）距骨和（E）（F）胫骨。评估试验的全部41帧均以数据点形式展示，其中白色圆圈表示中位数，粗垂直线表示四分位距，粗水平线表示均值。黑色线条在2°和1 mm处表示选定的阈值。在（E）中，新操作者2有六个超出阈值的帧未显示。 请点击此处查看此图的放大版本。

一名新操作员在其胫骨追踪中有六个帧超过了2°的旋转阈值。这些帧是通过verifyAssessmentPoses.m生成的图之一识别出来的（图5）。由于另一只脚摆动穿过视野时遮挡了胫骨，这六个帧更难追踪。

图5: 支撑相期间每帧的旋转偏差。 跑步支撑相部分阶段第二位新操作员的旋转追踪示例，用于（A) 跟骨，(B距骨，以及（C）胫骨。注意图（C）中的红框显示了误差较大的帧。D左侧为代表性图像，显示胫骨前缘橙色线与蓝色线大致的对齐差异（由橙色和黑色箭头指示）。右侧图像显示胫骨跟踪良好的示例（由白色箭头指示）。 请点击此处以查看此图的放大版本。

补充文件。 请点击此处下载该文件。

讨论

基于模型的精确位姿估计对于关节运动学和骨骼运动的测量至关重要。以往对位姿估计的验证方法主要基于植入标记物的尸体标本，但缺乏 体内 加载与关节活动范围。这 体内 基于标记点的跑步与跳跃数据集可实现基于模型算法的验证。此外，该数据集经过组织化处理，可用于训练新操作者，使大多数基于模型算法所需的初始估计值处于预设容差范围内，从而降低操作者间的变异性。提供MATLAB代码，以实现骨骼动画的生成并自动输出姿态质量反馈。

新操作员的培训成功达到了旋转误差在2°以内、平移误差在1 mm以内的设定容差范围。这些限值远低于已报道的操作者间可靠性水平，后者可能高达5 mm和10°¹。然而，所选定的容差范围仍比其他完整尸体足部实验的均方根误差（RMS误差）高出2至4倍（0.59 mm和0.71°¹⁶）。尽管该容差包含了RMS误差中较高范围的数值，但相较于已报道的操作者间变异性，仍代表了显著的改进。此外，由于骨骼遮挡、软组织形变以及高速运动通过X射线扫描区域时产生的伪影等因素，in vivo条件下的追踪难度远高于静态足部姿态。新操作员在规定容差范围内成功完成了各试验的逐帧追踪，其结果接近专家水平，仅图5C所示的六个帧存在偏差。因此，该设定容差相较于已报道的操作者间变异性有所提升，且结果表明本方法能够有效培训新操作员，使其达到此容差范围内的操作水平。

本方案中的一个关键步骤是在所选软件中进行动态描记与三维可视化之间的反复迭代。这种迭代对于理解骨骼在空间中的方位至关重要。它使操作者能够验证骨骼姿态在生物学上是否合理，以及是否与其他骨骼发生碰撞。在动态描记与可视化之间持续切换，可提高最终骨骼姿态估计的准确性，并有助于发现优化过程中的错误。

训练集，特别是评估试验，包含了具有挑战性的跟踪场景，旨在测试新操作员的极限。本数据集中X射线源和影像增强器的位置导致摆动的足部遮挡了视野，为骨骼模型的配准带来了困难。新的操作员在旋转阈值以上的若干帧中受到了对侧足部遮挡视野的影响。调整滤波器设置以及在遮挡前后对帧进行逐帧描摹等策略，有助于缓解这些问题。此外，DICOM数据与姿态估计算法中的坐标系方向差异较大，导致胫骨出现角度翻转。操作员必须在此时逐帧跟踪以克服这一挑战。这些情况在数据收集中并不罕见，代表了未来基于模型的自动姿态估计应具备应对能力的挑战，因此为本数据集增添了重要价值。

本方案存在某些局限性。首先，将基于标记物的姿态估计视为金标准存在争议，因为基于标记物与基于模型的姿态估计之间的准确度差异通常并未达到一个数量级^2,3,10。然而，in vivo 数据采集过程中BVR图像出现的视觉变化（例如运动伪影、软组织干扰以及骨骼遮挡）更有可能导致基于模型的姿态估计产生误差，相比之下，基于标记物的方法受影响较小。需要进一步实验以验证这一假设。此外，本数据集并未涵盖所有双平面X射线采集条件。相机的朝向可能导致骨骼处于不同的相对位置，从而改变骨骼特征的显著性，并相应地影响姿态匹配算法的代价函数。此外，这些特征可能受到图像滤波设置的影响^15,17。因此，该数据集并不能必然推广为对BVR准确性的普适性评估。相反，它是一个用于训练用户输入合适初始姿态估计值的工具，并可用于改进基于模型的姿态估计算法，直至不再需要手动逐帧描记的初始猜测。

材料

本文使用的材料清单

姓名	公司	目录编号	评论
Autoscoper	布朗大学		https://simtk.org/projects/autoscoper；姿态估计算法软件
代码	女王大学		https://github.com/skelobslab/JOVE_BVR_FootModelAndMarker 基于
内容识别填充算法，Photoshop	Adobe
数据集	女王大学		点击此处下载
MATLAB	MathWorks 公司	不适用	计算平台
Mimics	Materialise 公司，比利时		三维图像处理软件
Revolution HD	通用电气医疗系统公司		所使用的 CT 扫描设备
WristVisualizer	布朗大学		https://bitbucket.org/xromm/xmalab/src/master/；可视化软件
XMALab	布朗大学		https://bitbucket.org/xromm/xmalab/src/master/