[论文解读] NeurAll: Towards a Unified Model for Visual Perception in Automated Driving

Ganesh Sistu, Isabelle Leang+5 more|arXiv (Cornell University)|Feb 10, 2019

Advanced Neural Network Applications参考文献 44被引用 14

一句话总结

本文提出 NeurAll，一种用于自动驾驶的统一多任务卷积神经网络架构，通过共享早期卷积特征，联合学习视觉感知任务（如目标检测、深度估计和运动估计）。通过利用多流和辅助学习，该模型在保持紧凑尺寸的同时，相比单任务网络，实现了更高的准确率和计算效率。

ABSTRACT

Convolutional Neural Networks (CNNs) are successfully used for the important automotive visual perception tasks including object recognition, motion and depth estimation, visual SLAM, etc. However, these tasks are typically independently explored and modeled. In this paper, we propose a joint multi-task network design for learning several tasks simultaneously. Our main motivation is the computational efficiency achieved by sharing the expensive initial convolutional layers between all tasks. Indeed, the main bottleneck in automated driving systems is the limited processing power available on deployment hardware. There is also some evidence for other benefits in improving accuracy for some tasks and easing development effort. It also offers scalability to add more tasks leveraging existing features and achieving better generalization. We survey various CNN based solutions for visual perception tasks in automated driving. Then we propose a unified CNN model for the important tasks and discuss several advanced optimization and architecture design techniques to improve the baseline model. The paper is partly review and partly positional with demonstration of several preliminary results promising for future research. We first demonstrate results of multi-stream learning and auxiliary learning which are important ingredients to scale to a large multi-task model. Finally, we implement a two-stream three-task network which performs better in many cases compared to their corresponding single-task models, while maintaining network size.

研究动机与目标

• 通过将多个视觉感知任务统一到单一共享模型中，解决自动驾驶系统中的计算瓶颈问题。
• 通过在任务间共享昂贵的初始卷积层，提升准确率和可扩展性。
• 通过联合学习目标检测、深度估计和运动估计，减少开发工作量并增强泛化能力。
• 探索先进的优化与架构技术，以实现大规模多任务模型的扩展。
• 通过在三任务设置下的实证评估，证明统一框架的可行性和优势。

提出的方法

• 设计一种双流、三任务的卷积神经网络架构，使目标检测、深度估计和运动估计任务共享早期卷积特征。
• 实施多流学习，以专用分支处理不同任务，同时共享早期特征表示。
• 引入辅助学习头，以改善多任务设置下的特征学习与模型优化。
• 应用先进的优化技术，以稳定训练过程并提升多任务设置下的收敛性。
• 使用共享主干网络，以减少模型大小和计算成本，同时保持性能。
• 将统一模型与单任务基线模型进行对比评估，以分析准确率与效率之间的权衡。

实验结果

研究问题

• RQ1 统一的卷积神经网络模型能否有效同时学习自动驾驶中的多个视觉感知任务？
• RQ2 在任务间共享早期卷积特征是否能提升计算效率与模型性能？
• RQ3 多流与辅助学习技术在多任务设置下如何增强特征表示与泛化能力？
• RQ4 统一模型在准确率与推理效率方面相较于单任务模型有多大优势？
• RQ5 该统一架构在增加额外感知任务时，是否能以极低额外成本实现扩展？

主要发现

• 所提出的 NeurAll 模型在目标检测、深度估计和运动估计任务上的表现优于单任务模型。
• 多流与辅助学习显著提升了多任务设置下的特征学习能力与模型稳定性。
• 统一架构在保持紧凑网络规模的同时，优于每个任务的独立模型。
• 共享的早期卷积层减少了计算开销，有效缓解了部署硬件中的主要瓶颈。
• 初步结果表明，当模型扩展至更多任务时，展现出良好的可扩展性与泛化优势。
• 由于其在效率与准确率上的显著提升，该模型在实际部署中展现出广阔前景。