[论文解读] Self-Supervised 3D Scene Flow Estimation Guided by Superpoints

Yaqi Shen, Le Hui+2 more|arXiv (Cornell University)|May 4, 2023

Advanced Vision and Imaging被引用 4

一句话总结

该论文提出SPFlowNet，一种端到端自监督的3D场景光流估计框架，通过迭代生成由预测光流引导的动态超点，以提升运动估计的准确性。通过使用可微聚类机制和基于GRU的优化，联合优化光流引导的超点生成与超点引导的光流精炼，该方法在FlyingChairs、KITTI和ScanNet基准上实现最先进性能，在KITTI上的AR指标上相比之前方法最高提升9.92%。

ABSTRACT

3D scene flow estimation aims to estimate point-wise motions between two consecutive frames of point clouds. Superpoints, i.e., points with similar geometric features, are usually employed to capture similar motions of local regions in 3D scenes for scene flow estimation. However, in existing methods, superpoints are generated with the offline clustering methods, which cannot characterize local regions with similar motions for complex 3D scenes well, leading to inaccurate scene flow estimation. To this end, we propose an iterative end-to-end superpoint based scene flow estimation framework, where the superpoints can be dynamically updated to guide the point-level flow prediction. Specifically, our framework consists of a flow guided superpoint generation module and a superpoint guided flow refinement module. In our superpoint generation module, we utilize the bidirectional flow information at the previous iteration to obtain the matching points of points and superpoint centers for soft point-to-superpoint association construction, in which the superpoints are generated for pairwise point clouds. With the generated superpoints, we first reconstruct the flow for each point by adaptively aggregating the superpoint-level flow, and then encode the consistency between the reconstructed flow of pairwise point clouds. Finally, we feed the consistency encoding along with the reconstructed flow into GRU to refine point-level flow. Extensive experiments on several different datasets show that our method can achieve promising performance.

研究动机与目标

• 为解决现有3D场景光流方法中固定、离线生成的超点存在的局限性，这些方法常因刚性聚类而将运动不同的点分组。
• 通过学习动态、光流自适应的超点，反映复杂3D场景中的实际运动模式，以提升场景光流估计的准确性。
• 将超点生成与光流精炼整合进一个统一的端到端、自监督框架中，实现联合优化。
• 通过使用光流预测的关联关系引导在线超点更新，减少因超点不准确导致的误差传播。
• 在合成和真实世界LiDAR数据集上，无需真实光流监督，实现最先进性能。

提出的方法

• 该框架使用最远点采样（FPS）初始化超点中心，包含坐标、光流和特征。
• 光流引导的超点生成模块利用前一迭代的双向光流预测，构建软点到超点的关联。
• 通过学习到的关联图，自适应聚合相关点的特征、坐标和光流值，更新超点中心。
• 使用相同的关联图，通过聚合超点级别的光流，重建点级别的光流。
• 一致性编码层测量源点云和目标点云重建光流之间的对齐程度，以强制实现运动一致性。
• 基于GRU的精炼模块融合重建光流与一致性编码，以精炼最终的点级别光流预测。

实验结果

研究问题

• RQ1 与固定、离线聚类相比，在线、光流引导的超点生成是否能提升3D场景光流估计的准确性？
• RQ2 将动态超点整合进端到端学习框架后，其在真实世界和合成数据集上的性能表现如何？
• RQ3 超点一致性编码与一致性损失对光流精炼质量有何影响？
• RQ4 超参数如超点数量（L）、邻域大小（K）和迭代次数（T）如何影响模型性能？
• RQ5 无需真实光流监督的自监督框架是否能在KITTI和FlyingChairs上实现最先进结果？

主要发现

• SPFlowNet在KITTI-t数据集上实现了79.65%的平均召回率（AR），相比之前方法在AR指标上最高提升9.92%。
• 该模型在KITTI-r上实现了端到端自监督的EPE为0.089，表明其在无真实监督下具有强大的泛化能力。
• 消融实验表明，若移除超点生成或一致性编码模块，性能显著下降，AR分别降低6.8%和6.3%。
• 最优配置为L=30个超点、K=2个最近中心、T=3次迭代，兼顾准确率与推理效率。
• 光流引导的超点生成模块优于基于SPNet的超点生成方法，证明在无真实超点时，光流引导至关重要。
• 一致性损失至关重要，若移除该损失，EPE增加0.008，AR降低2.4%，证实其在强制实现运动一致性方面的作用。