[论文解读] Real-to-Virtual Domain Unification for End-to-End Autonomous Driving

Luona Yang, Xiaodan Liang+2 more|arXiv (Cornell University)|Jan 10, 2018

Domain Adaptation and Few-Shot Learning被引用 5

一句话总结

本文提出 DU-drive，一种领域统一框架，通过使用条件生成对抗网络（cGAN）将真实世界驾驶图像映射到简化的虚拟领域，从而实现端到端自动驾驶，提升泛化能力和性能。通过将多样化的现实数据集转换为统一的虚拟空间，该方法减少了领域差异，使输入表示更接近最小 sufficient 统计量，并利用无限的合成数据，在少量标注数据下实现了多个基准上的最先进性能。

ABSTRACT

In the spectrum of vision-based autonomous driving, vanilla end-to-end models are not interpretable and suboptimal in performance, while mediated perception models require additional intermediate representations such as segmentation masks or detection bounding boxes, whose annotation can be prohibitively expensive as we move to a larger scale. More critically, all prior works fail to deal with the notorious domain shift if we were to merge data collected from different sources, which greatly hinders the model generalization ability. In this work, we address the above limitations by taking advantage of virtual data collected from driving simulators, and present DU-drive, an unsupervised real-to-virtual domain unification framework for end-to-end autonomous driving. It first transforms real driving data to its less complex counterpart in the virtual domain and then predicts vehicle control commands from the generated virtual image. Our framework has three unique advantages: 1) it maps driving data collected from a variety of source distributions into a unified domain, effectively eliminating domain shift; 2) the learned virtual representation is simpler than the input real image and closer in form to the "minimum sufficient statistic" for the prediction task, which relieves the burden of the compression phase while optimizing the information bottleneck tradeoff and leads to superior prediction performance; 3) it takes advantage of annotated virtual data which is unlimited and free to obtain. Extensive experiments on two public driving datasets and two driving simulators demonstrate the performance superiority and interpretive capability of DU-drive.

研究动机与目标

• 解决多样真实世界驾驶数据集之间的领域差异问题，该问题阻碍了端到端自动驾驶模型的泛化能力。
• 克服原始端到端模型（缺乏可解释性）和中介感知模型（标注成本高昂）的局限性。
• 通过向最小 sufficient 统计量简化输入表示，优化信息瓶颈并提升预测性能。
• 通过将所有真实数据映射到共享的虚拟领域，实现跨数据集的知识迁移。

提出的方法

• 训练一个条件生成对抗网络（cGAN），将真实驾驶图像转换为简化、复杂度更低的虚拟领域表示。
• 虚拟领域表示设计为保留关键驾驶线索（如车道线），同时去除干扰细节（如阴影、远处景物）。
• 框架将图像转换与控制预测解耦，支持为新真实数据集独立训练生成器，并跨领域联合训练预测器。
• 采用联合训练方案，联合优化图像转换与转向命令预测任务，防止 GAN 中的模式崩溃。
• 该方法利用无限、免费获取的带标注虚拟数据来训练控制预测器。
• 理论分析表明，虚拟表示的熵低于真实图像，从而减轻了信息瓶颈优化中压缩阶段的负担。

实验结果

研究问题

• RQ1 能否将来自多个来源的真实世界驾驶数据统一到单一简化虚拟领域，以消除领域差异？
• RQ2 将真实图像转换为复杂度更低的虚拟领域，是否能提升端到端自动驾驶的性能？
• RQ3 虚拟表示能否作为信息瓶颈的更好初始化，因其更接近最小 sufficient 统计量？
• RQ4 该框架在低数据场景下（尤其是跨未见数据集迁移知识时）效果如何？
• RQ5 图像转换与控制预测的联合训练能否有效防止条件 GAN 中的模式崩溃？

主要发现

• DU-drive 在 Udacity 和 Comma.ai 驾驶数据集上均达到最先进性能，在完全监督设置下，Udacity 上 MAE 为 3.81，CARLA 上为 3.57。
• 当仅使用 20% 的 Udacity 标注数据时，DU-drive 将 MAE 降低至 6.34，显著优于基线模型 PilotNet（7.86 MAE）。
• 性能提升与输入熵的降低正相关：虚拟表示的方差显著低于真实图像（如 CARLA 上分别为 31,650 和 82,745），表明其作为信息瓶颈初始化更优。
• 领域统一使单一模型能在多个真实数据集上泛化，性能与在单个数据集上训练的模型相当；而仅在真实数据上联合训练则因领域差异而失败。
• 联合训练方案有效防止了模式崩溃，生成的虚拟图像中保留了关键驾驶线索（如车道线），经定性结果和注意力图分析验证。
• 虚拟领域表示更紧凑且信息更丰富，其熵低于真实图像，从而减轻了信息瓶颈优化中压缩阶段的负担。