[论文解读] MultiNet: Multi-Modal Multi-Task Learning for Autonomous Driving

Sauhaarda Chowdhuri, Tushar Pankaj+1 more|arXiv (Cornell University)|Sep 16, 2017

Autonomous Vehicle Technology and Safety参考文献 27被引用 4

一句话总结

本文提出 MultiNet，一种多模态多任务深度学习框架，将驾驶模式作为条件输入嵌入共享卷积网络，使单一模型能够学习如直接驾驶与隐蔽驾驶等不同驾驶行为。该方法优于独立的多任务网络，在直接模式下实现 8.31% 的自主性提升，验证损失显著降低，且参数更少。

ABSTRACT

Autonomous driving requires operation in different behavioral modes ranging from lane following and intersection crossing to turning and stopping. However, most existing deep learning approaches to autonomous driving do not consider the behavioral mode in the training strategy. This paper describes a technique for learning multiple distinct behavioral modes in a single deep neural network through the use of multi-modal multi-task learning. We study the effectiveness of this approach, denoted MultiNet, using self-driving model cars for driving in unstructured environments such as sidewalks and unpaved roads. Using labeled data from over one hundred hours of driving our fleet of 1/10th scale model cars, we trained different neural networks to predict the steering angle and driving speed of the vehicle in different behavioral modes. We show that in each case, MultiNet networks outperform networks trained on individual modes while using a fraction of the total number of parameters.

研究动机与目标

• 解决缺乏用于非结构化自动驾驶（如人行道和未铺装道路）的数据集和模型的问题。
• 克服单任务学习和传统多任务学习在处理多样化驾驶行为时的局限性。
• 开发一种统一的深度学习架构，跨多种驾驶模式共享参数，同时保持模式特定的性能。
• 使用单一神经网络，为复杂真实环境中的自动驾驶提供可扩展且高效的解决方案。
• 证明将驾驶模式作为条件输入可提升泛化能力并降低模型复杂度，相较于训练独立网络更具优势。

提出的方法

• 提出一种新颖的多模态多任务学习框架，将驾驶模式与图像特征拼接，作为网络输出的条件输入。
• 设计一种深度卷积神经网络 Z2Color，利用立体图像和驾驶模式作为输入，实现端到端的转向与速度预测。
• 在任务（转向与速度预测）之间采用软参数共享策略，同时以驾驶模式为条件，实现参数效率。
• 使用来自模型汽车实验的实时纠正数据，改进 DAgger 算法，提升模型鲁棒性与泛化能力。
• 在自建数据集上训练 MultiNet 模型，数据集包含超过 100 小时的 1/10 比例模型汽车在非结构化环境（如人行道与小径）中的驾驶数据。
• 通过在保留数据集上的验证损失，以及实际道路实验中的自主性指标和行为的定性分析，评估模型性能。

实验结果

研究问题

• RQ1 单一深度神经网络能否通过以驾驶模式为条件，有效学习多种不同的驾驶行为（如直接驾驶与隐蔽驾驶）？
• RQ2 与传统多任务学习和单任务网络相比，MultiNet 在准确性、参数效率和泛化能力方面的表现如何？
• RQ3 将驾驶模式作为条件输入在多大程度上提升了模型在非结构化驾驶任务中的性能？
• RQ4 验证损失指标是否与真实世界自主性表现相关，尤其是在复杂驾驶模式下？
• RQ5 来自模型汽车实验的实时纠正数据能否提升 MultiNet 架构在真实部署中的鲁棒性？

主要发现

• 在直接模式下，MultiNet 实现 92.68% 的自主性，比 MTL 基线高出 8.31 个百分点。
• 在隐蔽模式下，MultiNet 实现 88.23% 的自主性，优于 MTL 的 87.55%，验证损失降低 12.58%，表明其在学习复杂行为方面更具优势。
• MultiNet 与 MTL 在直接模式下的验证损失差异为 8.16%，在隐蔽模式下为 12.58%，表明损失指标能有效捕捉超越简单路径跟踪的性能提升。
• 与 MTL 网络相比，MultiNet 展现出更明显的隐蔽行为特征，如靠近障碍物时的速度调节和沿边界行驶，表现出更强的适应性。
• 均方误差（MSE）损失指标在直接模式下是真实世界性能的有效代理指标，但在隐蔽模式下比自主性指标更敏感，表明其能捕捉细微的行为学习。
• 与为每种模式单独训练网络相比，MultiNet 使用的参数量仅为其中一小部分，证实了其在参数效率和可扩展性方面的优势。