[论文解读] Toward Accurate and Accessible Markerless Neuronavigation

Ziye Xie, Oded Schlesinger+8 more|arXiv (Cornell University)|Feb 4, 2026

Gaze Tracking and Assistive Technology被引用 0

一句话总结

该论文利用 RGB-D 和立体 RGB 相机结合面部先验，提出无标记神经导航方法以跟踪头部姿态，在50名受试者中相对传统标记系统的中位偏差约为 2.0–2.3 mm 与 ~2°。

ABSTRACT

Neuronavigation is widely used in biomedical research and interventions to guide the precise placement of instruments around the head to support procedures such as transcranial magnetic stimulation. Traditional systems, however, rely on subject-mounted markers that require manual registration, may shift during procedures, and can cause discomfort. We introduce and evaluate markerless approaches that replace expensive hardware and physical markers with low-cost visible and infrared light cameras incorporating stereo and depth sensing combined with algorithmic modeling of the facial geometry. Validation with $50$ human subjects yielded a median tracking discrepancy of only $2.32$ mm and $2.01°$ for the best markerless algorithms compared to a conventional marker-based system, which indicates sufficient accuracy for transcranial magnetic stimulation and a substantial improvement over prior markerless results. The results suggest that integration of the data from the various camera sensors can improve the overall accuracy further. The proposed markerless neuronavigation methods can reduce setup cost and complexity, improve patient comfort, and expand access to neuronavigation in clinical and research settings.

研究动机与目标

• 促使用主体安装标记物的替代以减少神经导航中的不适与工作流复杂性。
• 开发并评估基于 RGB-D 和立体 RGB 数据的无标记头部追踪流程。
• 将统计头部先验引入以正则化头形估计并提升跟踪鲁棒性。
• 在多样化受试者群体中将多种无标记方法与传统标记基准系统进行比较。

提出的方法

• 开发三种无标记追踪策略：单目 RGB、立体 RGB 与深度为基础的追踪。
• 使用 MediaPipe 检测 468 个面部关键点并筛选出稳健的子集用于跟踪。
• 在单目和立体设置中将头部姿态估计公式化为通过 PnP 的 SE(3) 优化。
• 对于基于深度的追踪，构建受试者特定的面部模板并使用 Chamfer 距离进行对齐。
• 通过拟合三维可变形头模模型为所有方法增加个性化头部模型（PHM），以创建完整的头部表示。
• 在包含 50 名受试者的队列中对方法进行验证并与标准的 NDI Polaris Vicra 系统进行比较。

实验结果

研究问题

• RQ1 无标记头部追踪能否达到与传统标记基神经导航相当的临床相关精度？
• RQ2 在无标记头部姿态估计中，单目、立体与深度数据的表现差异如何？
• RQ3 引入个性化头部先验是否能提升跟踪鲁棒性与准确性？
• RQ4 不同头部运动与姿势对无标记追踪性能有何影响？
• RQ5 在标准条件下，与先前的无标记方法（MarLe）相比，无标记追踪的表现如何？

主要发现

• 相对于标记基系统，最佳无标记方法的中位平移/旋转偏差约为 2.0–2.3 mm 与 ~2.0–2.0°。
• 立体 RGB（有/无 PHM）显著优于单目 RGB 方法与仅深度追踪。
• 带 PHM 的深度基追踪也表现稳健，实现较低的 RMSD 与相对较低的失败率。
• 无标记方法在精度方面明显优于此前的无标记方法（MarLe），并显示出降低设置成本和复杂性的潜力。
• 对 50 名参与者的综合评估表明结果具有对多样化面部特征的普适性。