[论文解读] Real-time Geometry-Aware Augmented Reality in Minimally Invasive Surgery

Long Chen, Wen Tang+1 more|arXiv (Cornell University)|Aug 3, 2017

Robotics and Sensor-Based Localization参考文献 16被引用 6

一句话总结

本文提出了一种用于微创手术（MIS）的实时、几何感知增强现实（AR）框架，可在弯曲的器官表面实现精确、交互式的标注、肿瘤标记和测量的叠加。通过结合基于特征的鲁棒SLAM实现实时相机跟踪，以及使用零均值归一化互相关（ZNCC）的增量式密集立体匹配，该系统在无需术前扫描的情况下， intra-operatively 重建了详细的3D网格，仿真中实现2.37 mm的RMS重建误差，实现了在软组织表面的精确AR配准。

ABSTRACT

The potential of Augmented Reality (AR) technology to assist minimally invasive surgeries (MIS) lies in its computational performance and accuracy in dealing with challenging MIS scenes. Even with the latest hardware and software technologies, achieving both real-time and accurate augmented information overlay in MIS is still a formidable task. In this paper, we present a novel real-time AR framework for MIS that achieves interactive geometric aware augmented reality in endoscopic surgery with stereo views. Our framework tracks the movement of the endoscopic camera and simultaneously reconstructs a dense geometric mesh of the MIS scene. The movement of the camera is predicted by minimising the re-projection error to achieve a fast tracking performance, while the 3D mesh is incrementally built by a dense zero mean normalised cross correlation stereo matching method to improve the accuracy of the surface reconstruction. Our proposed system does not require any prior template or pre-operative scan and can infer the geometric information intra-operatively in real-time. With the geometric information available, our proposed AR framework is able to interactively add annotations, localisation of tumours and vessels, and measurement labelling with greater precision and accuracy compared with the state of the art approaches.

研究动机与目标

• 解决在微创手术（MIS）过程中，对弯曲、可变形软组织表面实现精确、实时AR叠加的挑战。
• 克服传统2D特征跟踪和稀疏SLAM方法的局限性，这些方法在快速相机运动下失效，且无法在非平面表面上精确映射AR内容。
• 开发一种系统，能够在术中重建手术场景的密集3D几何结构，而无需依赖术前扫描或外部跟踪设备。
• 实现与器官解剖曲率相适配的精确、交互式AR标注、标记和测量。
• 在照明变化、组织变形和内镜快速移动等挑战性MIS条件下，提升AR配准的准确性和鲁棒性。

提出的方法

• 采用基于特征的SLAM方法，通过最小化稀疏特征点的重投影误差，实现实时内镜相机跟踪。
• 采用基于零均值归一化互相关（ZNCC）的增量式密集立体匹配，构建手术场景的详细3D几何网格。
• 从立体视频序列中逐步重建3D表面，实现实时几何感知，无需预先模板或术前扫描。
• 利用点击点处的表面法线，正确地定向并附着AR标签、测量线和标注到重建的网格上。
• 采用网格采样与RMSD评估方法，定量比较仿真中重建表面与真实表面。
• 在Hamlyn Centre数据集的活体内镜视频上验证系统，以证明其在真实场景中的适用性。

实验结果

研究问题

• RQ1 实时AR系统是否能在快速移动、动态的MIS环境中实现对内镜的精确且稳定的跟踪？
• RQ2 是否可以在无需术前扫描或外部跟踪设备的情况下，实现术中密集3D表面重建？
• RQ3 是否可以仅通过实时立体视觉和几何网格重建，将AR标注和测量精确映射到弯曲、非平面的器官表面？
• RQ4 系统在照明变化、组织变形和快速相机运动下的表现如何？
• RQ5 在内镜场景中，使用基于ZNCC的立体匹配可实现多高的表面重建几何精度？

主要发现

• 在仿真中，与真实3D模型相比，所提系统实现了2.37 mm的RMSD重建精度，证明了其高度的几何保真度。
• 系统在活体视频序列中成功实现了与软组织表面曲率相适配的精确、几何感知AR叠加，如标签和测量线，验证了其有效性。
• 该框架通过立体匹配实时重建密集3D网格，支持如区域高亮和测量等交互式AR应用。
• 由于采用基于特征的SLAM和ZNCC立体匹配，系统对光照变化和组织变形表现出鲁棒性。
• 由于无需术前扫描或外部跟踪设备，系统实现了更快的准备时间，并更易于融入手术流程。
• 结果表明，几何感知AR显著提升了MIS中AR引导的准确性和真实感，相比平面或2D基AR方法具有明显优势。