2021年8月12日
人类对3D立体视频的深度感知取决于相机间距、会聚点、物体距离以及物体的熟悉程度。本文介绍了一种在活体开胸手术期间快速、可靠地收集测试数据的机器人化方法,以确定理想的相机配置。
它能够拍摄高质量的3D视频,用于培训和教育。该技术可应用于大多数开放手术的手术室环境。通过机器人化的方法,我们可以快速而准确地收集数据,以评估摄像头的位置。
该方法用于快速测试三维视觉应用中的相机配置,也可用于研究不同观察者对深度的感知方式。开始安装相机至机器人时,首先将镜头安装到相机上,然后使用三颗 M2 螺丝将相机安装到适配板上。
接下来,使用四个 M4 螺丝将圆形安装板固定到相机适配板上,安装位置为相机的对侧。所有相机安装到机器人后,观察所形成组件的镜像情况。使用四个 M2.5 螺丝将适配板安装到机器人腕部。
对于台式机器人,将左侧相机安装到右侧机械臂上。将USB线缆连接至相机和Ubuntu计算机。在机器人触摸显示屏上,按下菜单按钮,选择Stereo 2以启动机器人应用程序。
在主界面,按下“前往”按钮,使机器人应用中的距离设置为 1,100 毫米,并等待机器人移动至起始位置。取下相机的保护镜头盖。将打印好的校准网格放置在距离相机传感器 1,100 毫米的位置。
为了正确识别对应的方格,请在网格中心放置一个小螺母或做一标记。在 Ubuntu 计算机上启动录制应用程序以启动界面,然后使用光圈环和对焦环调节镜头的光圈和对焦。
在录制应用程序中,勾选“十字线”以显示十字准线。在录制应用程序中,确保十字准线与两个相机图像中校准网格的同一位置对齐。按下机器人应用程序中的齿轮图标后,调整相机相对于患者的位置。
通过按压“机械臂与手的距离”参数的加号或减号来改变X方向,通过按压“采集高度”的加号或减号来改变Z方向,以在图像中捕获手术视野。通过手动移动机器人或患者来调整Y方向。暂停手术并告知手术室人员即将开始实验后,先在录制应用程序中按“录制”,然后在机器人应用程序中按“运行实验”。
一段时间后,当实验结束时,触摸显示屏上将出现“Done”。然后,在录制应用程序中按“停止录制”以结束录制。通知手术室人员实验已经完成,并恢复手术。
评估时,使用主动式3D投影仪以上下3D格式播放视频。正确的评估视频在上下立体3D格式中应显示为右图像位于上方。成功的序列应清晰、聚焦,且无不同步的图像帧。
不同步的视频流会产生模糊。无论左右摄像头间距如何,会聚点都应在水平方向上居中。当左右图像间距过大时,大脑将无法将图像融合成单一的三维图像。
心脏中心定位失败可能由多种原因导致,例如会聚点与心脏之间的距离。为正确配置相机工具坐标系,需确保录制应用程序中的十字线对准同一物体,校准物体位于中心位置,并采用正确的颜色去马赛克格式。通过基线距离变化的3D视频,我们能够研究深度信息如何影响医务人员对解剖结构的理解。
查看完整文字稿并访问数千部科学视频
本研究提出了一种在活体开胸手术期间收集测试数据的机器人化方法,重点在于优化3D立体视频的理想相机配置。该方法旨在增强手术环境中对深度感知的评估能力。
该方法能够快速、可重复地评估用于三维手术可视化的相机配置,有助于提升医学培训中的深度感知能力。通过减少对手术室的干扰并标准化数据采集,提高了立体视频在外科教学和设备评估中的可靠性。该方法解决了将三维成像优势转化为一致且可扩展的培训工具过程中的一个关键挑战。
该方法适用于早期发现阶段的工作流程,在此类流程中,视觉模型的保真度会影响生物学解释,尤其在基于操作步骤的培训以及器械与组织相互作用研究中。