[论文解读] Towards Optimal Strategies for Training Self-Driving Perception Models in Simulation

David Acuna, Jonah Philion+1 more|arXiv (Cornell University)|Nov 15, 2021

Domain Adaptation and Few-Shot Learning被引用 6

一句话总结

本文提出了一种领域自适应框架，通过不变表示学习和合理的数据采样策略，减小合成驾驶模拟（CARLA）与真实世界感知任务之间的领域差距，从而提升迁移性能。该方法仅使用合成标签即在nuScenes数据集上实现了鸟瞰图车辆分割的最先进性能，表明天气和地图设计等关键差异可通过自适应方法进行补偿，从而降低对模拟器高保真度的依赖。

ABSTRACT

Autonomous driving relies on a huge volume of real-world data to be labeled to high precision. Alternative solutions seek to exploit driving simulators that can generate large amounts of labeled data with a plethora of content variations. However, the domain gap between the synthetic and real data remains, raising the following important question: What are the best ways to utilize a self-driving simulator for perception tasks? In this work, we build on top of recent advances in domain-adaptation theory, and from this perspective, propose ways to minimize the reality gap. We primarily focus on the use of labels in the synthetic domain alone. Our approach introduces both a principled way to learn neural-invariant representations and a theoretically inspired view on how to sample the data from the simulator. Our method is easy to implement in practice as it is agnostic of the network architecture and the choice of the simulator. We showcase our approach on the bird's-eye-view vehicle segmentation task with multi-sensor data (cameras, lidar) using an open-source simulator (CARLA), and evaluate the entire framework on a real-world dataset (nuScenes). Last but not least, we show what types of variations (e.g. weather conditions, number of assets, map design, and color diversity) matter to perception networks when trained with driving simulators, and which ones can be compensated for with our domain adaptation technique.

研究动机与目标

• 解决合成模拟数据与真实世界驾驶数据在自动驾驶感知中的现实差距问题。
• 开发一种最小化领域偏移的仿真策略，且无需真实世界标签。
• 识别哪些模拟器差异（如天气、资产、后期处理等）对模型泛化至关重要。
• 设计一种模块化、与模拟器无关且适用于多种传感器模态（相机、LiDAR）的方法。
• 评估领域自适应是否能补偿缺失或简化的模拟元素。

提出的方法

• 将仿真到现实的迁移问题形式化为领域自适应问题，利用泛化界指导数据采样。
• 提出一种方法，通过最小化源域与目标域标签边际之间的距离，以减小领域偏移。
• 将f-DAL方法适配至密集预测任务，采用皮尔逊卡方（Pearson χ²）差异最小化实现对抗性领域自适应。
• 结合领域对抗训练与伪标签法，以提升特征对齐与预测一致性。
• 采用与模拟器无关的采样策略，优先保证场景内容的多样性，同时最小化分布偏移。
• 使用Lift-Splat-Transform主干网络进行鸟瞰图分割，基于合成数据端到端训练并结合领域自适应。

实验结果

研究问题

• RQ1 模拟中的哪些差异（如天气、车辆资产、地图设计）对真实世界模型泛化最为关键？
• RQ2 领域自适应技术能否有效补偿缺失或简化的模拟元素？
• RQ3 如何从模拟器中采样数据，以在理论上合理的方式最小化领域差距？
• RQ4 当仅使用合成标签时，领域自适应能在多大程度上提升性能？
• RQ5 所提出的方法是否能在不同传感器模态（如相机与LiDAR）之间实现泛化？

主要发现

• 所提出的Lift-Splat-Adapt方法仅使用CARLA生成的合成数据，即在nuScenes鸟瞰图车辆分割基准上达到最先进性能。
• 即使仅使用CARLA中的“晴天”天气设置，性能依然稳健，且在NPC采样采用固定先验时，优于使用多种天气设置的情况。
• 该方法能有效补偿车辆资产多样性低的问题，即使仅使用一种车辆资产，也能保持高性能。
• CARLA中相机后期处理效果（如暗角和光晕）可通过领域自适应在很大程度上得到补偿，从而降低对真实渲染的需求。
• 该模型在不同传感器模态间泛化良好，对基于相机和基于LiDAR的感知任务均表现出有效性。
• 局限性包括对与CARLA资产库显著不同的车辆难以检测，以及因虚假相关性（如腿部与自行车之间的关联）导致的偶发误预测。