[论文解读] Towards Safer Robot-Assisted Surgery: A Markerless Augmented Reality Framework

Ziyang Chen, Laura Cruciani+7 more|arXiv (Cornell University)|Sep 14, 2023

Augmented Reality Applications被引用 9

一句话总结

该论文提出一种无标记的 AR 框架，将立体重建与分割融合，在术中场景中可视化术前血管模型并检测到机器人器械的最小距离，已在 da Vinci 研究工具包上通过用户测试进行验证。

ABSTRACT

Robot-assisted surgery is rapidly developing in the medical field, and the integration of augmented reality shows the potential of improving the surgeons' operation performance by providing more visual information. In this paper, we proposed a markerless augmented reality framework to enhance safety by avoiding intra-operative bleeding which is a high risk caused by the collision between the surgical instruments and the blood vessel. Advanced stereo reconstruction and segmentation networks are compared to find out the best combination to reconstruct the intra-operative blood vessel in the 3D space for the registration of the pre-operative model, and the minimum distance detection between the instruments and the blood vessel is implemented. A robot-assisted lymphadenectomy is simulated on the da Vinci Research Kit in a dry lab, and ten human subjects performed this operation to explore the usability of the proposed framework. The result shows that the augmented reality framework can help the users to avoid the dangerous collision between the instruments and the blood vessel while not introducing an extra load. It provides a flexible framework that integrates augmented reality into the medical robot platform to enhance safety during the operation.

研究动机与目标

• 通过减少器械-血管碰撞导致的术中出血来推动更安全的机器人辅助手术.
• 开发一个无标记的 AR 框架，使术前模型能够覆盖在术中视图上，而无需外部标记.
• 评估立体重建与分割网络的组合以实现血管的准确三维重建.
• 通过在 dry-lab 的淋巴结切除研究中使用 dVRK 和十名参与者来检验可用性和实用性。

提出的方法

• 将立体矫正的内镜图像作为输入，输入到立体重建网络以估计视差并重投到三维空间。
• 使用分割网络生成血管的二值掩模以 isolating 感兴趣区域。
• 通过全局 RANSAC 再加本地 ICP 进行 refinement，将术前血管模型（基于 Blender 的网格）与术中三维血管点云配准。
• 使用相机内参和手-眼变换将登记后的术前模型投影到术中图像上以实现 AR 可视化。
• 利用快速最近邻方法计算器械位姿（来自 dVRK 运动学）与重建血管之间的最小距离，并在 AR 视图中通过距离仪和颜色提示进行显示。
• 评估多种立体方法与分割模型，以确定在精度与速度方面表现最佳的组合。

Figure 1: The architecture of the markerless augmented reality framework. The image pair is fed into two different networks to estimate the disparity map and the binary mask. Then, the disparity pixels that belong to the blood vessel can be reprojected to generate the 3D intra-operative blood vessel

实验结果

研究问题

• RQ1 哪些立体重建模型在端镜 AR 场景中无任务特定微调的情况下提供准确深度？
• RQ2 哪些分割模型在端镜场景中能够最好地界定术中血管，包括像 Segment Anything 这样的零-shot 方法？
• RQ3 一个无标记的 AR 框架是否能够可靠地将术前模型配准到术中血管，并在机器人辅助手术中实现实时的最小距离安全提示？
• RQ4 将该 AR 框架整合到基于 dVRK 的工作流程中的计算性能与可用性影响如何？

主要发现

• 一个无标记 AR 框架能够在术中血管上可视化术前模型，并实现器械与血管之间的最小距离安全检测。
• 在评估的立体方法中，若干模型在 SERV-CT 上取得了低深度误差，推理时间各不相同，诸如 PSMNet、GwcNet、CFNet 和 HSM 表现强劲；ELAS 在某些情况下提供具有竞争力的准确性且推理速度非常快。
• 分割评估显示多种模型具有较高的 Dice 和准确性，其中 Segment Anything 在自制数据上达到极高的 Dice（0.9661）和高准确性（0.9957），但 PR 曲线面积和运行时间有所差异。
• 基于 RANSAC 的全局配准再加 ICP 能有效将术前网格与术中血管点云对齐。
• 在 ten 名受试者的 dry-lab 淋巴结切除中，AR 辅助可视化和距离仪提升了安全提示，而不会增加感知负担。

Figure 2: The presentation of the dVRK system in a dry lab. In (a), the user is operating the MTMs and observing the surgical scenes using HRSV at the leader side, and the surgical instruments mounted on the PSMs are performing the operation following the remote control of the user at the follower s