[论文解读] On-the-fly Augmented Reality for Orthopaedic Surgery Using a Multi-Modal Fiducial

Sebastian Andreß, Alex Johnson+7 more|arXiv (Cornell University)|Jan 4, 2018

Augmented Reality Applications参考文献 15被引用 15

一句话总结

本文提出了一种用于骨科手术的实时增强现实（AR）系统，通过多模态靶标标记实现C臂 fluoroscopy 系统与光学透视式头戴显示器（HMD）的联合标定。该系统利用SLAM进行HMD定位，并基于靶标标记实现标定，实时将2D X射线标注渲染为3D虚拟引导提示，从而减少辐射暴露和手术时间，同时达到与传统影像引导技术相当的精度。

ABSTRACT

Fluoroscopic X-ray guidance is a cornerstone for percutaneous orthopaedic surgical procedures. However, two-dimensional observations of the three-dimensional anatomy suffer from the effects of projective simplification. Consequently, many X-ray images from various orientations need to be acquired for the surgeon to accurately assess the spatial relations between the patient's anatomy and the surgical tools. In this paper, we present an on-the-fly surgical support system that provides guidance using augmented reality and can be used in quasi-unprepared operating rooms. The proposed system builds upon a multi-modality marker and simultaneous localization and mapping technique to co-calibrate an optical see-through head mounted display to a C-arm fluoroscopy system. Then, annotations on the 2D X-ray images can be rendered as virtual objects in 3D providing surgical guidance. We quantitatively evaluate the components of the proposed system, and finally, design a feasibility study on a semi-anthropomorphic phantom. The accuracy of our system was comparable to the traditional image-guided technique while substantially reducing the number of acquired X-ray images as well as procedure time. Our promising results encourage further research on the interaction between virtual and real objects, that we believe will directly benefit the proposed method. Further, we would like to explore the capabilities of our on-the-fly augmented reality support system in a larger study directed towards common orthopaedic interventions.

研究动机与目标

• 为解决经皮骨科手术中2D荧光透视成像的局限性，即深度感知能力差且反复成像导致辐射暴露增加。
• 开发一种低设置、实时的AR引导系统，适用于未预先准备的手术室，无需术前影像或复杂标定流程。
• 通过HMD实现实时、3D的手术引导提示（如线条和点）直接叠加在荧光透视X射线图像上。
• 在保持与传统影像引导技术相当精度的前提下，减少所需X射线摄取次数和总手术时间。
• 探索仅使用HMD的RGB摄像头和多模态靶标标记实现AR引导的可行性，从而实现在未准备环境中的部署。

提出的方法

• 多模态靶标标记结合ARToolKit标记与可穿透X射线的金属球体，实现光学与X射线追踪的同步。
• 系统利用HMD的RGB摄像头进行SLAM（同时定位与地图构建），以估计设备在世界坐标系中的位姿。
• 通过校准流程，利用HMD位姿将C臂荧光透视系统与HMD进行联合注册，对齐光学与X射线视图下的靶标标记。
• 校准完成后，将X射线图像上的2D标注（如点和线）投影到3D空间，并在HMD视图中渲染为虚拟物体。
• 系统利用HMD的深度线索和瞳距设置改善视觉对齐效果，但焦距限制影响了深度感知能力。
• 在半人体模型上开展了可行性研究，以评估精度与手术流程效率。

实验结果

研究问题

• RQ1 多模态靶标是否能够实现在无术前影像条件下的C臂荧光透视系统与光学透视式HMD之间的高精度、实时联合注册？
• RQ2 与传统荧光透视相比，该AR系统在多大程度上能够减少所需X射线图像数量和总手术时间？
• RQ3 在模型实验中，该系统在3D引导方面的精度与传统影像引导技术相比如何？
• RQ4 当前AR硬件在手术引导应用中的局限性，特别是深度感知能力与真实-虚拟物体交互方面，有哪些表现？
• RQ5 该系统是否能够仅依赖HMD的摄像头和物理靶标标记在未准备的手术室中运行，而无需与C臂直接集成？

主要发现

• 系统精度与传统影像引导技术相当，靶点定位误差无显著差异。
• 所需X射线摄取次数显著减少，因AR提供的3D引导消除了对多次2D投影的依赖。
• 手术时间因工具定位更快和图像摄取次数减少而缩短，但未以绝对数值量化具体时间节省。
• HMD的固定焦距（约2米）及缺乏调节焦距线索，影响了深度感知，尤其对新手用户影响明显，进而影响对齐性能。
• 在半人体模型研究中，系统展示了可行性，支持其在微创骨科手术中临床部署的潜力。
• 在未知或动态环境条件下，SLAM的可靠性存在局限，但核心引导功能仍保持稳健。