[论文解读] Self-Driving Car Steering Angle Prediction: Let Transformer Be a Car Again

Chingis Oinar, Eunmin Kim|arXiv (Cornell University)|Apr 27, 2022

Autonomous Vehicle Technology and Safety被引用 4

一句话总结

本文提出了一种基于Transformer的新型架构，用于自动驾驶汽车方向盘转角预测，结合了光流特征和多任务学习。在Udacity自动驾驶汽车挑战赛2号数据集上，该模型取得了0.0577（私有）和0.0588（公开）的RMSE，优于基线模型，在竞赛中排名3至4名。

ABSTRACT

Self-driving vehicles are expected to be a massive economic influence over the coming decades. Udacity https://www.udacity.com/ has been working on a completely open-source self driving car. Thus, it regularly organizes various competitions, one of which was dedicated to steering angle prediction task. In this work, we perform an extensive study on this particular task by exploring the Udacity Self-driving Car Challenge 2. We provide insights on the previous teams' solutions. Moreover, we propose our new architecture that is inspired by some of the teams. We report our performance and compare it with multiple baseline architectures as well as other teams' solutions. We make our work available on GitHub and hope it is useful for the Udacity community and brings insights for future works https://github.com/chingisooinar/AI_self-driving-car

研究动机与目标

• 改进现有用于自动驾驶方向盘转角预测的深度学习模型。
• 解决预测极端方向盘转角的挑战，这些转角对标准模型而言具有难度。
• 探索注意力机制和光流特征在驾驶任务序列建模中的有效性。
• 开发一种在不同驾驶条件下（包括不同天气、光照和道路类型）具有良好泛化能力的模型。
• 在Udacity自动驾驶汽车挑战赛2号数据集上超越现有基线模型和先前竞赛解决方案。

提出的方法

• 采用Vision Transformer（ViT）主干网络，并结合ResNet-18特征提取器处理RGB图像。
• 引入独立分支处理由连续RGB帧生成的光流图像。
• 通过联合预测方向盘转角和车辆速度，实现多任务学习。
• 应用标签平滑，平滑因子为0.35，以提升泛化能力并减少过拟合。
• 使用均方误差（MSE）损失联合训练方向盘转角和速度预测头。
• 通过数据增强和序列建模捕捉帧间的时间依赖性。

实验结果

研究问题

• RQ1 基于Transformer的架构是否能在方向盘转角预测任务中超越CNN-LSTM和ResNet基线模型？
• RQ2 引入光流特征在极端方向盘转角预测中的性能提升程度如何？
• RQ3 与速度预测结合的多任务学习在多大程度上提升了主要的方向盘转角回归任务？
• RQ4 所提出模型中的注意力可视化是否表现出比标准Transformer更具动态性和上下文感知性的注意力机制？
• RQ5 标签平滑和网络结构修改是否能提升模型在未见测试数据上的泛化能力？

主要发现

• 所提出的Transformer模型在私有数据上取得0.0577的RMSE，在公开数据上取得0.0588的RMSE，优于所有基线模型，包括DAVE2、ResNet50和CNN-LSTM。
• 加入光流分支和速度预测分支的模型在极端方向盘转角上的误差显著低于标准模型。
• 消融实验表明，光流分支和速度预测头均对性能有显著贡献，完整模型相比简单Transformer在私有数据上降低了0.0079的RMSE。
• 注意力图显示，所提出模型能动态地在帧间转移关注焦点，尤其是在运动边界处，而标准Transformer的注意力则保持静态。
• 该模型在Udacity挑战赛中排名3或4名，超越了迁移学习和LSTM基线方法，但未达到第一名（0.0483 RMSE）。
• 使用0.35的平滑因子对预测结果进行平滑处理后，性能进一步提升，表明模型泛化能力增强，对噪声标签更具鲁棒性。