[论文解读] Self-Supervised Pillar Motion Learning for Autonomous Driving

Chenxu Luo, Xiaodong Yang+1 more|arXiv (Cornell University)|Apr 18, 2021

Advanced Vision and Imaging参考文献 44被引用 5

一句话总结

本文提出了一种用于自动驾驶的自监督学习框架，通过利用成对相机图像中的自由监督信号和结构一致性，从激光雷达点云中估计类无关的柱状体运动。通过采用概率运动掩码和跨传感器正则化，该方法在有限监督下微调时实现了最先进性能，在低数据环境下优于完全监督基线模型。

ABSTRACT

Autonomous driving can benefit from motion behavior comprehension when interacting with diverse traffic participants in highly dynamic environments. Recently, there has been a growing interest in estimating class-agnostic motion directly from point clouds. Current motion estimation methods usually require vast amount of annotated training data from self-driving scenes. However, manually labeling point clouds is notoriously difficult, error-prone and time-consuming. In this paper, we seek to answer the research question of whether the abundant unlabeled data collections can be utilized for accurate and efficient motion learning. To this end, we propose a learning framework that leverages free supervisory signals from point clouds and paired camera images to estimate motion purely via self-supervision. Our model involves a point cloud based structural consistency augmented with probabilistic motion masking as well as a cross-sensor motion regularization to realize the desired self-supervision. Experiments reveal that our approach performs competitively to supervised methods, and achieves the state-of-the-art result when combining our self-supervised model with supervised fine-tuning.

研究动机与目标

• 解决自动驾驶运动估计模型训练中高昂的标注成本问题。
• 在开放集场景中实现无需依赖物体类别标签的类无关运动估计。
• 利用大量未标注的激光雷达和相机数据进行自监督学习，以减少对昂贵人工标注数据集的依赖。
• 开发一种基于鸟瞰图（BEV）柱状体表征的实时、高效运动估计框架。
• 通过跨传感器和结构一致性监督提升对自身运动和背景噪声的鲁棒性。

提出的方法

• 该方法将激光雷达点云组织为垂直柱状体，并为每个柱状体预测二维位移向量作为运动表征。
• 通过假设柱状体几何结构在连续扫描中保持稳定（即使在点云稀疏时也成立），强制实现结构一致性。
• 利用从成对相机图像反投影得到的光流应用概率运动掩码，以抑制静态或背景区域的误报。
• 通过相机光流对激光雷达空间中的柱状体运动学习进行引导和正则化，实现跨传感器运动正则化。
• 采用多任务损失函数，结合结构一致性、平滑性与正则化项，实现模型端到端优化。
• 推理阶段丢弃相机组件，仅使用激光雷达数据即可实现实时部署。

实验结果

研究问题

• RQ1 能否有效利用未标注的激光雷达和相机数据，在无需人工标注运动标签的情况下训练出准确的运动估计模型？
• RQ2 在点对应不可靠的稀疏激光雷达点云中，如何强制实现结构一致性？
• RQ3 成对相机的光流在多大程度上可作为自监督激光雷达运动学习的免费监督信号？
• RQ4 概率运动掩码是否能提升对自身运动和背景运动伪影的鲁棒性？
• RQ5 当与有限微调结合时，自监督预训练是否能显著提升下游任务性能？

主要发现

• 在nuScenes数据集上，该自监督模型在预训练并微调后，平均误差达到0.0247，优于从零开始训练的全监督模型。
• 仅使用20%的训练数据时，自监督模型的平均误差降低至0.0394，而随机初始化模型的误差为0.0473。
• 未使用概率运动掩码的模型在墙壁、植被等背景区域产生了显著更多的误报运动预测。
• 消融实验表明，平滑性损失影响极小，因为柱状体表征本身已天然具备空间平滑性。
• 该方法可在完整激光雷达扫描上实现实时推理，适用于自动驾驶车辆的部署。
• 该模型在不同速度区间均表现出良好泛化能力，最高误差（0.0247）出现在最高速度组（速度 > 5 m/s）。