[论文解读] Towards End-to-End Deep Learning for Autonomous Racing: On Data Collection and a Unified Architecture for Steering and Throttle Prediction

Shakti N. Wadekar, Benjamin J. Schwartz+6 more|arXiv (Cornell University)|May 4, 2021

Autonomous Vehicle Technology and Safety参考文献 17被引用 11

一句话总结

本文提出了一种用于自动驾驶赛车的端到端深度学习框架，通过统一的卷积神经网络架构联合预测转向和油门，且无需循环连接或反馈。结果表明，冻结预训练的转向卷积特征并仅微调用于油门预测的最后全连接层，可实现稳定高速控制，在仅使用模仿学习和数据增强的情况下达到90英里每小时的速度。

ABSTRACT

Deep Neural Networks (DNNs) which are trained end-to-end have been successfully applied to solve complex problems that we have not been able to solve in past decades. Autonomous driving is one of the most complex problems which is yet to be completely solved and autonomous racing adds more complexity and exciting challenges to this problem. Towards the challenge of applying end-to-end learning to autonomous racing, this paper shows results on two aspects: (1) Analyzing the relationship between the driving data used for training and the maximum speed at which the DNN can be successfully applied for predicting steering angle, (2) Neural network architecture and training methodology for learning steering and throttle without any feedback or recurrent connections.

研究动机与目标

• 研究高速自动驾驶赛车中端到端深度学习的数据采集策略，重点关注训练数据量与可实现最高速度之间的关系。
• 开发一种统一的深度神经网络架构，联合预测转向和油门，且不使用循环单元（如LSTM）或反馈回路。
• 通过在油门预测中重用为转向训练的卷积特征，实现在最小化重新训练和计算成本的前提下高效联合学习。
• 在多样化赛道布局（包括高曲率赛道和标准模拟器赛道）上验证所提方法，且在实时推理条件下进行测试。
• 为未来在自动驾驶赛车系统中可扩展部署端到端模型建立数据驱动的基础。

提出的方法

• 使用基于自定义Unity的模拟器，配备三个前向摄像头，以10 Hz的频率采集图像、转向、油门和速度数据，用于训练圈次。
• 应用直接策略学习（一种结合行为克隆与数据聚合的模仿学习形式），结合专家反馈，迭代提升策略性能。
• 使用固定且简化的架构训练基础卷积神经网络（受NVIDIA端到端自动驾驶架构启发），用于转向预测，以实现低延迟推理。
• 对于油门预测，冻结已训练转向模型的卷积层，仅微调后续的全连接层，从而在不重新训练主干网络的前提下实现特征迁移。
• 将两个模型整合为单一统一架构，其中共享的卷积层作为公共主干，分别设置用于转向和油门预测的独立头。
• 使用数据增强和迭代专家校正，提升模型在不同赛道几何形状和速度范围下的泛化能力与鲁棒性。

实验结果

研究问题

• RQ1 收集的训练数据量（以圈数衡量）与端到端深度学习在自动驾驶赛车中可实现的最高速度之间有何相关性？
• RQ2 统一的深度神经网络架构是否能够在不使用循环连接或反馈机制的情况下，同时预测转向和油门？
• RQ3 从转向模型预训练的卷积特征在油门预测任务中能多大程度上被有效迁移，且仅需极少的额外训练？
• RQ4 在高速条件下，该模型在高曲率弯道赛道上的表现与标准或直线赛道相比如何？
• RQ5 在模拟赛车环境中，哪些数据采集策略最有效，能够实现稳定高速的自动驾驶控制？

主要发现

• 在具有急转弯的Track 2上，模型成功实现最高90英里每小时的速度，通过在弯道中减速、直道中加速，展现出高速稳定性。
• 该模型在Track 2和默认Lake Track上均保持了多圈的稳定性能，表明其在不同赛道几何结构下具备良好的泛化能力。
• 训练数据量（圈数）与可实现最高速度之间的关系得到实证验证，表明数据量增加可提升高速行驶能力。
• 冻结转向模型的卷积层并仅微调全连接层用于油门预测，实现了高性能，且额外训练时间极短。
• 统一架构在不使用循环或反馈机制的情况下实现了转向与油门的联合预测，证明在此场景下此类组件并非高速控制所必需。
• 视频演示证实，该模型具备自主导航复杂赛道的能力，支持实时推理和平稳的控制过渡。