[论文解读] Self-supervised learning for autonomous vehicles perception: A conciliation between analytical and learning methods

Florent Chiaroni, Mohamed-Cherif Rahal+2 more|arXiv (Cornell University)|Oct 3, 2019

Robotics and Sensor-Based Localization参考文献 73被引用 18

一句话总结

本文提出一种自监督学习（SSL）框架，统一了分析方法与深度学习方法，用于自动驾驶车辆感知，实现无需人工标注数据的端到端训练。通过利用时空或多种传感器数据生成伪标签（例如，深度、运动、分割），该方法在深度估计和障碍物检测等任务上实现了具有竞争力的性能，并具备在线自适应与自评估能力。

ABSTRACT

Nowadays, supervised deep learning techniques yield the best state-of-the-art prediction performances for a wide variety of computer vision tasks. However, such supervised techniques generally require a large amount of manually labeled training data. In the context of autonomous vehicles perception, this requirement is critical, as the distribution of sensor data can continuously change and include several unexpected variations. It turns out that a category of learning techniques, referred to as self-supervised learning (SSL), consists of replacing the manual labeling effort by an automatic labeling process. Thanks to their ability to learn on the application time and in varying environments, state-of-the-art SSL techniques provide a valid alternative to supervised learning for a variety of different tasks, including long-range traversable area segmentation, moving obstacle instance segmentation, long-term moving obstacle tracking, or depth map prediction. In this tutorial-style article, we present an overview and a general formalization of the concept of self-supervised learning (SSL) for autonomous vehicles perception. This formalization provides helpful guidelines for developing novel frameworks based on generic SSL principles. Moreover, it enables to point out significant challenges in the design of future SSL systems.

研究动机与目标

• 解决自动驾驶车辆感知中全标注数据集成本高、稀缺的问题。
• 克服纯分析方法在处理城市场景中高维、复杂语义模式时的局限性。
• 在减少大规模监督数据依赖的同时，提升模型对未见场景的鲁棒性。
• 实现实时驾驶环境中在线自评估、自改进与自适应。
• 整合多模态传感器数据（例如，双目视觉、时间序列）以生成可靠的伪标签，用于自监督训练。

提出的方法

• 以单帧单目相机图像作为输入，利用时间序列或双目图像对中的辅助信息作为伪标签，预测下游任务（例如，深度、分割、运动）。
• 应用学习模型（例如，CNN 或 Transformer）从单帧图像中预测目标任务，通过与伪标签数据的重建损失或一致性损失进行训练。
• 结合分析方法（如光流、对极几何或双目三角测量）生成类真实标注的监督信号，无需人工标注。
• 在训练过程中使用重投影损失和运动一致性来过滤动态物体与遮挡区域。
• 通过持续引入新数据，实现在线学习，使模型能够适应新环境。
• 利用分析基线集成自评估机制，以检测模型不确定性或预测误差。

实验结果

研究问题

• RQ1 自监督学习是否能有效替代完全监督训练，实现在无人工标注数据情况下的自动驾驶车辆感知任务？
• RQ2 如何系统性地将分析方法与深度学习结合，以提升感知系统在鲁棒性与可解释性方面的表现？
• RQ3 SSL 框架在真实驾驶场景中，能在多大程度上实现在线自适应与自评估？
• RQ4 SSL 在处理动态障碍物与深度尺度模糊性方面存在哪些局限性，又该如何缓解？
• RQ5 在自动驾驶感知的持续在线学习过程中，如何防止灾难性遗忘？

主要发现

• 自监督学习方法在深度估计任务上达到最先进性能，其结果与完全监督模型相当——例如，在 KITTI 数据集上，[56]* > [47] > [16] > [54]。
• 基于时间序列与双目数据的 SSL 框架可在无真实标注的情况下，生成准确的伪标签，用于深度与运动估计。
• 分析方法（如对极几何、光流）的整合，使模型在训练中能稳健处理遮挡与运动物体。
• 利用分析基线实现在线自评估是可行的，但基线中的噪声可能影响可靠性，需进一步研究。
• 灾难性遗忘在持续学习中仍是挑战，但增量学习技术提供了可行的解决路径。
• 单目深度估计中的尺度模糊性依然存在，但可通过估计度量姿态变换或使用模板匹配实现尺度恢复来缓解。