[论文解读] Real-time Rendering-based Surgical Instrument Tracking via Evolutionary Optimization

Hanyang Hu, Zekai Liang+2 more|arXiv (Cornell University)|Mar 12, 2026

Surgical Simulation and Training被引用 0

一句话总结

该论文提出一种基于实时渲染的跟踪框架，通过批量渲染的 CMA-ES 同时估计关节手术器械的位姿和关节配置，相比基于梯度的方法实现更快且更鲁棒的跟踪，并扩展到单手与双手设置。

ABSTRACT

Accurate and efficient tracking of surgical instruments is fundamental for Robot-Assisted Minimally Invasive Surgery. Although vision-based robot pose estimation has enabled markerless calibration without tedious physical setups, reliable tool tracking for surgical robots still remains challenging due to partial visibility and specialized articulation design of surgical instruments. Previous works in the field are usually prone to unreliable feature detections under degraded visual quality and data scarcity, whereas rendering-based methods often struggle with computational costs and suboptimal convergence. In this work, we incorporate CMA-ES, an evolutionary optimization strategy, into a versatile tracking pipeline that jointly estimates surgical instrument pose and joint configurations. Using batch rendering to efficiently evaluate multiple pose candidates in parallel, the method significantly reduces inference time and improves convergence robustness. The proposed framework further generalizes to joint angle-free and bi-manual tracking settings, making it suitable for both vision feedback control and online surgery video calibration. Extensive experiments on synthetic and real-world datasets demonstrate that the proposed method significantly outperforms prior approaches in both accuracy and runtime.

研究动机与目标

• 在部分可见性与关节读数嘈杂的情况下，推动精准高效的关节式手术器械位姿估计，以支持机器人辅助手术（R-MIS）。
• 开发一个基于渲染的跟踪管线，使用进化优化方法同时估计器械位姿与可见关节角度。
• 通过批量渲染与并行评估位姿假设，提高鲁棒性和实时性能。
• 将框架扩展到无关节角度初始化与双手跟踪，便于视觉控制与在线视频标定的多场景应用。

提出的方法

• 将器械跟踪表述为对末端执行器位姿在 SE(3) 与三个可见关节角的非线性优化。
• 使用 CMA-ES 在状态变量的高斯分布上进行搜索，适应度通过渲染-匹配目标函数进行评估。
• 采用批量正向运动学与渲染，实现对位姿候选的 GPU 加速并行评估。
• 定义统一损失，包括渲染项与关键点对齐项，以提高对分割噪声的鲁棒性。
• 用瞄准（look-at）旋转表示位姿以解耦轴杆旋转，并采用基于余弦的重参数化以强制关节限值。
• 对估计进行时序滤波，使用类卡尔曼的运动模型以稳定随时间的估计。

Figure 1: Skeleton overlays of the top- $5$ CMA-ES samples across successive iterations. At each iteration, CMA-ES draws a population of candidate poses from a Gaussian distribution, evaluates their fitness using render-and-match objectives, and updates the distribution toward better solutions. With

实验结果

研究问题

• RQ1 CMA-ES 与批量渲染是否能在 monocular RGB 输入下实现对关节式手术器械的实时、鲁棒位姿估计？
• RQ2 在有关节读数的情况下，联合估计位姿和可见关节角是否比基于梯度的方法在跟踪精度上有提升？
• RQ3 该框架在无关节角度初始化与双手跟踪场景中的泛化能力如何？
• RQ4 关键点损失与分割质量对跟踪性能有何影响？
• RQ5 该方法是否能够在多器械场景下对手术视频进行在线标定以用于机器人学习？

主要发现

• 在合成与真实世界数据上，CMA-ES 与批量渲染在单位帧运行时间和精度方面都优于基于梯度的基线。
• 在有关节读数的情况下，联合估计位姿与可见关节角可获得最佳整体性能。
• 所提方法在对收集数据进行在线工具跟踪时，优于单粒子滤波基线，具有更好的对齐和更平滑的跟踪。
• 具有无关节角度初始化的在线版本对较差初始化仍然鲁棒，且优于梯度法。
• 采用可分离的 CMA-ES 块进行双手跟踪在降低复杂度的同时，仍可在同一框架内实现两臂的联合优化。

Figure 2: Overview of the proposed framework. Given RGB video frames, segmentation masks and tool-tip detections are produced to define a render-and-match objective optimized via CMA-ES. At each iteration, pose candidates are sampled from the current distribution, evaluated in parallel through batch