[论文解读] Rethinking Self-driving: Multi-task Knowledge for Better Generalization and Accident Explanation Ability

Zhihao Li, T. Motoyoshi+3 more|arXiv (Cornell University)|Sep 28, 2018

Advanced Neural Network Applications参考文献 22被引用 35

一句话总结

本文提出了一种用于端到端自动驾驶系统的多任务学习框架，通过先在分割和深度预测任务上训练感知模块，再微调驾驶策略，从而提升泛化能力与事故可解释性。与基线模型相比，该方法在训练天气下的未见过城镇中实现了15%更高的成功率，在未训练天气下实现了20%的提升，且由于冻结感知权重保留了多任务知识，展现出更强的鲁棒性。

ABSTRACT

Current end-to-end deep learning driving models have two problems: (1) Poor generalization ability of unobserved driving environment when diversity of training driving dataset is limited (2) Lack of accident explanation ability when driving models don't work as expected. To tackle these two problems, rooted on the believe that knowledge of associated easy task is benificial for addressing difficult task, we proposed a new driving model which is composed of perception module for extit{see and think} and driving module for extit{behave}, and trained it with multi-task perception-related basic knowledge and driving knowledge stepwisely. Specifically segmentation map and depth map (pixel level understanding of images) were considered as extit{what \& where} and extit{how far} knowledge for tackling easier driving-related perception problems before generating final control commands for difficult driving task. The results of experiments demonstrated the effectiveness of multi-task perception knowledge for better generalization and accident explanation ability. With our method the average sucess rate of finishing most difficult navigation tasks in untrained city of CoRL test surpassed current benchmark method for 15 percent in trained weather and 20 percent in untrained weathers. Demonstration video link is: https://www.youtube.com/watch?v=N7ePnnZZwdE

研究动机与目标

• 解决端到端自动驾驶模型在测试未见驾驶环境且训练多样性有限时泛化能力差的问题。
• 通过可视化感知模块输出而非依赖显著性图，实现事故可解释性。
• 探究在基础感知任务（‘是什么与在哪里’、‘有多远’）上进行训练是否能提升复杂驾驶任务的性能。
• 评估在驾驶训练过程中微调感知模块权重是否损害泛化能力。

提出的方法

• 模型由两个模块构成：用于像素级理解（分割图与深度图）的感知模块，以及用于生成控制指令的驾驶模块。
• 感知模块通过多任务学习在分割与深度预测任务上进行预训练，以学习‘是什么与在哪里’和‘有多远’的知识。
• 预训练完成后，冻结感知模块的权重，并使用编码后的感知特征对驾驶模块进行驾驶指令训练。
• 该方法采用分步训练策略，受迁移学习启发，使基础感知知识支持更具挑战性的驾驶策略任务。
• 评估了一种微调变体，即在驾驶训练过程中更新感知模块权重，与冻结权重的基线进行对比。
• 通过线性插值模型权重的方式进行损失曲面可视化，定性分析原始模型与微调模型之间的优化动态。

实验结果

研究问题

• RQ1 在基础感知任务（分割与深度）上进行预训练是否能提升模型在未见驾驶环境中的泛化能力？
• RQ2 与显著性图相比，通过可视化感知模块输出（分割与深度图）是否能提升事故可解释性？
• RQ3 在驾驶训练过程中微调感知模块权重是否会降低泛化性能？
• RQ4 端到端模型的泛化能力是否主要由感知模块权重决定？

主要发现

• 所提方法在训练天气下未见城镇的导航任务中，成功率比基线高出15%。
• 在未训练天气条件下，成功率比基线高出20%，表明在分布偏移下具有强大的泛化能力。
• 在驾驶训练过程中微调感知模块权重导致性能显著下降，未见城镇中导航任务的成功率从78%降至42%。
• 损失曲面可视化显示，微调后的模型陷入损失曲面更平坦的区域，表明收敛至次优解。
• 结果表明，泛化能力主要源自感知模块，且当其权重在端到端训练中被更新时，该能力会被破坏。
• 在预训练后冻结感知模块权重，可保留多任务知识，从而实现更好的泛化能力与可解释性。