[论文解读] STTAR: Surgical Tool Tracking using off-the-shelf Augmented Reality Head-Mounted Displays

Alejandro Martin‐Gomez, Haowei Li+7 more|arXiv (Cornell University)|Aug 17, 2022

Augmented Reality Applications被引用 5

一句话总结

本文提出 STTAR 框架，利用市售增强现实（AR）头戴设备（如 Microsoft HoloLens 2）内置的飞行时间（ToF）摄像头，以亚毫米级精度追踪被动反光手术器械标记，实现实时、多器械追踪，且无需额外硬件。该方法实现横向平移精度 0.09±0.06 mm、纵向平移精度 0.42±0.32 mm、旋转精度 0.80±0.39°，证明其在骨科手术中用于 AR 引导下 k-钉置入的可行性。

ABSTRACT

The use of Augmented Reality (AR) for navigation purposes has shown beneficial in assisting physicians during the performance of surgical procedures. These applications commonly require knowing the pose of surgical tools and patients to provide visual information that surgeons can use during the task performance. Existing medical-grade tracking systems use infrared cameras placed inside the Operating Room (OR) to identify retro-reflective markers attached to objects of interest and compute their pose. Some commercially available AR Head-Mounted Displays (HMDs) use similar cameras for self-localization, hand tracking, and estimating the objects' depth. This work presents a framework that uses the built-in cameras of AR HMDs to enable accurate tracking of retro-reflective markers, such as those used in surgical procedures, without the need to integrate any additional components. This framework is also capable of simultaneously tracking multiple tools. Our results show that the tracking and detection of the markers can be achieved with an accuracy of 0.09 +- 0.06 mm on lateral translation, 0.42 +- 0.32 mm on longitudinal translation, and 0.80 +- 0.39 deg for rotations around the vertical axis. Furthermore, to showcase the relevance of the proposed framework, we evaluate the system's performance in the context of surgical procedures. This use case was designed to replicate the scenarios of k-wire insertions in orthopedic procedures. For evaluation, two surgeons and one biomedical researcher were provided with visual navigation, each performing 21 injections. Results from this use case provide comparable accuracy to those reported in the literature for AR-based navigation procedures.

研究动机与目标

• 开发一种仅利用商用 AR 头戴式显示器（HMD）内置摄像头进行精确手术器械追踪的方法，消除对外部追踪硬件的需求。
• 通过基于 HMD 的追踪技术，解决在杂乱手术室内保持手术标记与追踪系统视线连通性的挑战。
• 评估在临床相关场景（如骨科手术中的 k-钉置入）中，使用 AR HMD 实现实时、多器械追踪的可行性。
• 将所提方法与现有基于标记的追踪系统进行性能比较，并评估其在新手用户中的应用潜力。

提出的方法

• 利用 Microsoft HoloLens 2 内置的飞行时间（ToF）传感器检测并定位附着在手术器械上的被动反光标记。
• 采用校准模型将 HMD 的视野与图像传感器对齐，确保虚拟世界与现实世界坐标之间的精确空间配准。
• 应用计算机视觉算法实时检测并追踪反光标记，充分利用 ToF 传感器的深度和空间分辨率。
• 将器械追踪数据与 HMD 的自定位数据集成，计算器械相对于患者和环境的三维位姿。
• 在 HMD 中叠加虚拟轨迹，基于追踪到的器械位姿指导外科医生进行 k-钉置入。
• 实现多目标追踪流水线，在同时追踪五个不同器械及其多个标记时，帧率仍保持在 50 Hz 以上。

实验结果

研究问题

• RQ1 市售 AR HMD 内置的 ToF 摄像头是否能在临床环境中实现足够精度与稳定性的手术器械追踪？
• RQ2 所提方法在平移与旋转方面的追踪精度与商用医疗级追踪系统相比如何？
• RQ3 该框架是否能在无需额外硬件或外部照明的情况下支持实时、多器械追踪？
• RQ4 在真实手术任务（如 k-钉置入）中，系统的性能表现如何？与现有 AR 导航系统相比如何？
• RQ5 该系统是否能为新手用户提供与经验丰富的外科医生相当的精度？

主要发现

• 所提框架在横向平移方向实现 0.09±0.06 mm 的追踪精度，纵向平移方向为 0.42±0.32 mm，绕垂直轴旋转精度为 0.80±0.39°。
• 系统在单个器械追踪时帧率超过 172 Hz，同时追踪五个带有多个标记的器械时仍保持在 50 Hz 以上。
• 该方法在帧率上优于传统基于特征的追踪技术（如 ArUco 的 35 Hz 和 ChArUco 的 33.2 Hz），并超过 AHAT 相机的帧率（45 Hz）。
• 在 k-钉置入任务中，系统表现与文献报道的基于 AR 的导航系统相当，经验丰富的外科医生与生物医学研究员之间无显著性能差异。
• 虚拟内容渲染的延迟仍是主要挑战，尤其在无线网络下帧率低于 12 fps 时，可能导致追踪数据与 HMD 定位数据出现不同步。
• 该方法无需外部红外照明，避免干扰 HMD 的手势追踪与环境重建功能。