全息头戴式显示器结合红外追踪软组织导航的技术方法及临床前验证

本研究在公主玛克西玛儿童肿瘤中心的范围是开发并验证一种增强现实系统。该系统应能精确对齐运动器官的全息影像。当前的一个实验挑战是验证全息影像是否仍能与运动器官的实时位置保持精确对齐。

目前，增强现实验证技术仅针对骨骼等刚性解剖结构有所描述。然而，我们的方案具有可应用于活动器官增强现实验证的优势。首先，打开三维计算机辅助设计软件并创建一个新文件。

选择“实体”选项卡，然后单击“创建草图”，以开始设计红外标记。按下“中心直径圆”按钮，绘制三个或四个直径为三毫米的小圆。使用“直线”工具，将三角形的顶点与对边中点相连，并绘制连接各圆的直线，以计算中心点。

在中心点处，使用“中心直径圆”绘制一个圆，然后使用两点矩形工具绘制矩形，将该中心圆与各个较小的圆连接起来。将中心圆形基座及连接矩形拉伸至2毫米厚度，将较小的圆拉伸至5毫米厚度。

按下“创建”，然后选择“螺纹”，使用ISO公制螺纹规格为三个圆锥添加螺纹，以适配6.4毫米的红外反射球体。利用3D打印或导出功能，将最终模型导出为对象文件。在3D计算机辅助设计软件中，选择“测量”功能，测量红外反射球体相对于中心点的x、y和z坐标。

测量每个小圆的中心点相对于整个形状中心的位置。启动游戏开发软件。导入 IRTrackingOrgans_HoloLens 项目文件并打开该项目。

使用文本编辑器，打开保存在 Assets 或 StreamingAssets 文件夹中的 JavaScript 对象表示法文件。根据先前记录的坐标，并遵循默认格式，修改该文件以定义自定义红外标记。在 DINO Unity 选项卡中，选择 ToolManager，点击 ResearchModeController，然后依次点击 JSON 文件和 Parent transform，最后点击 Create Objects Apply JSON Setting。

导入创建的三维红外标记模型。选择患者特异性的三维模型，并在检视窗口中调整其变换坐标，使其与场景中生成的标记位置相匹配。然后将患者特异性的三维模型拖入场景中以插入该模型。

将患者的三维模型进行转换，使红外标记物与其表面对齐。将红外标记物置于模型中心附近，以减少杠杆效应引起的定位误差。现在，将患者场景连接到菜单界面的按钮，以实现多个病例的选择。

导航至“资源”（Assets）、“场景”（Scenes）和“菜单场景”（Menu scene）。在“层级”（Hierarchy）窗口中，进入 NearMenu4x2，然后进入 ButtonCollection，并选择相应的按钮。在“检视”（Inspector）窗口中，转到“基本事件”（Basic Events）下的 MenuScript。

加载场景，输入患者场景的名称。创建或获取一个具有真实解剖结构的肾脏模型的三维模型。将该三维模型导入三维CAD建模软件中。

然后使用实体、创建和孔功能，在模型侧面集成五个配准旋转点。将孔类型设置为简单，攻丝类型设置为简单，钻孔点设置为角度，高度设置为 0.5 毫米，直径设置为 4.0 毫米。为固定电磁参考传感器，创建一个带孔的圆柱体，并将其集成到肾脏模型中。

新建一个草图，使用“中心直径圆”工具绘制一个外圆和一个直径为 2.8 毫米的内圆。将外圆拉伸 16.5 毫米。然后进入“修改”，接着选择“合并”。

同时选择3D肾脏模型和圆柱体，选择“合并”并点击“确定”进行确认。然后使用导出或3D打印功能导出最终的集成模型。接下来，使用柔性或半柔性丝材（如热塑性聚氨酯），按照此前描述的步骤打印肾脏模拟体。将电磁跟踪系统的场发生器直接放置在打印的肾脏模拟体下方。

从周围环境中移除所有铁磁性物体，以防止电磁场不均匀。然后将电磁传感器和电磁指针连接到跟踪系统。使用胶水将电磁参考传感器牢固地固定在圆柱体内，将其附着在三维模型上。

在 3D Slicer 中，导入包含枢轴点的三维肾脏模型。使用标记点配准向导，选择放置控制点，并在数字上指定配准标志点。

在 3D Slicer 中执行标志点配准时，使用电磁探针精确定位物理标志点。在每个物理位置按下以放置控制点，从而在软件中完成注册。然后通过点击更新来计算刚性线性配准变换。

现在，将计算出的配准变换应用于3D模型，以将其与电磁参考传感器关联。移动物理模型，并确认3D Slicer中的数字模型同步跟随其运动。启动全息显示设备，并打开之前配置好的全息应用程序。

然后在 3D Slicer 中导航至当前可视化的正确患者特异性 3D 模型。接着使用胶水将红外标记物固定到指定位置，确保按照术前规划的指导，安装到位的 6.4 毫米红外反射球体。使用电磁探针通过全息可视化所见，对目标点进行数字识别。

保存获得的电磁传感器坐标集。通过将保存的目标坐标与实际放置的解剖标志点进行比较，计算误差，以验证全息可视化的准确性。在所有受试者中，点定位误差（PLE）的中位数为8.74毫米，个体测量值范围为2.78至13.20毫米。

外科医生2始终获得最低的PLE测量值，其中两次最精确的定位分别为2.78毫米和3.48毫米。最大的定位误差出现在外科医生3的第三次测量中，PLE为13.20毫米。本方案将有助于其他研究人员部署全息投影项目，并在临床前环境中准确验证其增强现实系统。

我们的外科研究团队即将开始对多个儿科外科病例采用全自动全息追踪技术。该技术基于机器学习算法和RGB相机输入来追踪可移动器官。