[论文解读] SuPerPM: A Surgical Perception Framework Based on Deep Point Matching Learned from Physical Constrained Simulation Data

Shan Lin, Albert J. Miao+6 more|arXiv (Cornell University)|Sep 25, 2023

3D Shape Modeling and AnalysisEngineering被引用 3

一句话总结

SuPerPM 提出了一种基于深度学习的外科感知框架，通过用微调后的点云匹配模型替代传统的基于ICP的数据关联方法，提升了在大形变情况下的组织追踪性能。该方法在基于位置动力学（position-based dynamics）生成的物理约束模拟数据上进行训练，相较于最先进方法，在高度形变场景下实现了更高的追踪精度和更密集的重建效果。

ABSTRACT

A major source of endoscopic tissue tracking errors during deformations stems from wrong data association between observed sensor measurements with previously tracked scene. To mitigate this issue, we present a surgical perception framework, SuPerPM, that leverages learning-based non-rigid point cloud matching for data association, thus accommodating larger deformations than previous approaches which relied on Iterative Closest Point (ICP) for point associations. The learning models typically require training data with ground truth point cloud correspondences, which is challenging or even impractical to collect in surgical environments. Thus, for tuning the learning model, we gather endoscopic data of soft tissue being manipulated by a surgical robot and then establish correspondences between point clouds at different time points to serve as ground truth. This was achieved by employing a position-based dynamics (PBD) simulation to ensure that the correspondences adhered to physical constraints. The proposed framework is demonstrated on several challenging surgical datasets that are characterized by large deformations, achieving superior performance over advanced surgical scene tracking algorithms.

研究动机与目标

• 解决在大组织形变下外科场景追踪中数据关联不准确的挑战。
• 克服真实外科数据中缺乏密集且准确的对应关系，难以用于训练基于学习的点云匹配模型的问题。
• 利用深度学习提升内镜外科场景中非刚性组织追踪的鲁棒性与准确性。
• 开发一种基于模拟的流水线，生成逼真且具有物理约束的点云对，用于微调学习模型。
• 证明在模拟数据上进行微调可显著提升模型在真实外科数据集上的性能。

提出的方法

• 将基于学习的非刚性点云匹配模型（Lepard）集成到 SuPer 外科感知框架中，以替代 ICP 进行数据关联。
• 使用基于位置的动力学（PBD）模拟生成具有物理合理性的合成组织形变，并建立形变点云对之间的真实对应关系。
• 在 PBD 模拟生成的合成点云对上对预训练的 Lepard 模型进行微调，使其与真实外科形变特征对齐。
• 采用两阶段优化：第一阶段，微调后的 Lepard 模型预测对应关系；第二阶段，SuPer 框架利用这些对应关系估计刚性和非刚性变换。
• 应用可微的、基于 ICP 的代价函数，利用学习到的对应关系提升追踪和重建的精度。
• 在发表后公开数据集和代码，以支持可复现性与未来研究。

实验结果

研究问题

• RQ1 在物理模拟数据上训练的基于学习的点云匹配模型，是否能提升在外科场景追踪中大形变下的数据关联鲁棒性？
• RQ2 在模拟生成的数据上对预训练点云匹配模型进行微调，对真实外科内镜序列中的追踪精度有何影响？
• RQ3 所提出的基于模拟的数据生成流水线，在多大程度上能产生可泛化到真实外科组织形变的对应关系？
• RQ4 在大形变条件下，SuPerPM 与最先进方法（如 DefSLAM 和 SD-DefSLAM）在追踪精度和重建质量方面相比如何？
• RQ5 在感知框架内对对应关系模型进行端到端训练，是否能进一步提升性能？

主要发现

• 与基线模型 SuPer 相比，SuPerPM 显著降低了重投影误差，证明了追踪精度的提升。
• 在所有测试序列中，微调后的 Lepard 模型的重投影误差均低于预训练模型，尤其在高度形变场景（如 SupDef-T2 和 SupDef-T3）中表现更优。
• SuPerPM 在所有序列中均优于 SD-DefSLAM，且在性能上匹配或超过 DefSLAM，尽管 DefSLAM 仅使用稀疏鲁棒特征。
• 定性对比显示，微调后的 Lepard 模型产生的点对应关系更密集且更一致。
• 基于模拟的数据生成流水线成功生成了逼真且具有物理约束的对应关系，显著提升了对真实外科数据的泛化能力。
• 尽管性能有所提升，微调模型仍会产生部分噪声匹配，表明通过几何或物理异常值剔除方法仍有进一步优化空间。