[论文解读] PointPWC-Net: A Coarse-to-Fine Network for Supervised and Self-Supervised Scene Flow Estimation on 3D Point Clouds

Wenxuan Wu, Zhiyuan Wang+3 more|arXiv (Cornell University)|Nov 27, 2019

Advanced Vision and Imaging参考文献 86被引用 66

一句话总结

PointPWC-Net 引入了可学习的基于点的代价体积和自上而下的框架，从两帧连续的3D点云中估计场景流，支持监督和自监督训练，并对KITTI具有强泛化能力。

ABSTRACT

We propose a novel end-to-end deep scene flow model, called PointPWC-Net, on 3D point clouds in a coarse-to-fine fashion. Flow computed at the coarse level is upsampled and warped to a finer level, enabling the algorithm to accommodate for large motion without a prohibitive search space. We introduce novel cost volume, upsampling, and warping layers to efficiently handle 3D point cloud data. Unlike traditional cost volumes that require exhaustively computing all the cost values on a high-dimensional grid, our point-based formulation discretizes the cost volume onto input 3D points, and a PointConv operation efficiently computes convolutions on the cost volume. Experiment results on FlyingThings3D outperform the state-of-the-art by a large margin. We further explore novel self-supervised losses to train our model and achieve comparable results to state-of-the-art trained with supervised loss. Without any fine-tuning, our method also shows great generalization ability on KITTI Scene Flow 2015 dataset, outperforming all previous methods.

研究动机与目标

• 直接从具有大位移的3D点云中实现准确的场景流估计的动机。
• 开发一个在点云上运行且无需密集4D张量的可学习代价体积。
• 利用带变形与上采样的粗到细架构，以高效处理大位移。
• 引入自监督损失，在没有 ground-truth 场景流标签的情况下训练模型。
• 在 FlyingThings3D 和 KITTI Scene Flow 2015 上展示最先进的性能，并具备强零-shot泛化能力。

提出的方法

• 引入一个新颖的可学习代价体积层，通过对方向向量和拼接特征使用 MLP 来计算点对补丁的代价。
• 在输入点上对代价体积进行离散化，并以补丁对补丁的方式使用基于点的卷积（PointConv）聚合代价。
• 使用最远点采样和 PointConv 为每个点云构建4级特征金字塔，以丰富特征。
• 实现一个带上采样和 warp 的粗到细框架：对初始流进行上采样，扭曲第一帧点云，在每一层计算代价体积，并预测细化后的流。
• 使用自监督损失，结合 Chamfer 距离、平滑性和 Laplacian 正则化，在没有真实流标签的情况下训练。
• 提供一个流预测器，输入第一云点云特征、代价体积和上采样流，以估计更细的场景流。

实验结果

研究问题

• RQ1 可学习的点基代价体积是否能够在三维点云的场景流估计中超越传统的或基于晶格的代价体积？
• RQ2 粗到细的 warp 方法是否能在点云中对大位移实现鲁棒处理，而无需穷举搜索？
• RQ3 自监督损失（Chamfer、平滑和 Laplacian）是否能够在没有真实标签的情况下训练出有竞争力的点云场景流模型？
• RQ4 PointPWC-Net 在不进行微调的情况下，对真实世界的 KITTI Scene Flow 数据有多好的泛化？
• RQ5 消融研究揭示了代价体积设计、 warp 和上采样组件的贡献有哪些？

主要发现

• 在 FlyingThings3D 上，使用自监督损失的 PointPWC-Net 在没有真实标签的情况下实现具有竞争力的性能。
• 在 FlyingThings3D 上，PointPWC-Net（Full）达到 EPE3D 0.0588，并在 EPE3D、Acc3DS、Acc3DR、Outliers3D 等指标上显著超越若干基线。
• 在 KITTI Scene Flow 2015 上不进行微调时，PointPWC-Net（Self）达到 EPE3D 0.2549m，超过 FGR 和 CPD 基线，显示出强泛化。
• 先在 FlyingThings3D 进行有监督预训练，再对 KITTI 进行微调（Self 或 Self+Self），PointPWC-Net 在 KITTI 的 EPE3D 低于 5 cm，在多项指标上超过先前方法。
• 消融研究表明，可学习的代价体积和 warp 相较于传统代价体积和无 warp 基线显著提升性能。
• 使用所提出的损失进行自监督训练可实现具有竞争力的结果，甚至在 KITTI 上接近有监督的性能，且无需真实标签。