[论文解读] MultiNet: Real-time Joint Semantic Reasoning for Autonomous Driving

Marvin Teichmann, Michael Weber+3 more|arXiv (Cornell University)|Dec 22, 2016

Advanced Neural Network Applications参考文献 47被引用 80

一句话总结

MultiNet 提出了一种统一的、端到端的深度学习架构，通过共享编码器和任务特定解码器，实现实时联合语义分割、目标检测和图像分类。它在 KITTI 基准测试中实现了道路分割的最先进性能，每帧处理时间低于 45 毫秒，支持超过 23 FPS 的实时推理。

ABSTRACT

While most approaches to semantic reasoning have focused on improving performance, in this paper we argue that computational times are very important in order to enable real time applications such as autonomous driving. Towards this goal, we present an approach to joint classification, detection and semantic segmentation using a unified architecture where the encoder is shared amongst the three tasks. Our approach is very simple, can be trained end-to-end and performs extremely well in the challenging KITTI dataset. Our approach is also very efficient, allowing us to perform inference at more then 23 frames per second. Training scripts and trained weights to reproduce our results can be found here: https://github.com/MarvinTeichmann/MultiNet

研究动机与目标

• 解决自动驾驶感知系统中对实时性能的关键需求。
• 开发一种统一的深度学习架构，联合执行分类、检测和语义分割任务。
• 通过在任务间共享特征计算，实现在不牺牲准确率的前提下提升推理速度。
• 缩小单阶段检测器与两阶段检测器之间的性能差距，同时保持高速度。
• 实现端到端训练的多任务网络，使其在 KITTI 基准测试中优于现有方法。

提出的方法

• 使用共享的深度卷积神经网络（CNN）编码器，从单张输入图像中提取丰富且多尺度的特征。
• 为分类、检测和语义分割任务分别设计任务特定的解码器，每个解码器均利用共享的特征。
• 在检测解码器中结合 YOLO 的快速回归与 Faster R-CNN 和 Mask R-CNN 中的 ROI-Align，实现可调节尺寸的特征。
• 在检测头中引入重缩放层，以在不增加计算成本的前提下提升尺度不变性和检测准确率。
• 应用 1x1 卷积和跳跃连接，以保持特征分辨率，并在语义分割和检测头中实现高效的上采样。
• 使用结合分类、检测和分割损失的多任务损失函数，对整个网络进行端到端训练。

实验结果

研究问题

• RQ1 统一的深度网络架构能否在自动驾驶场景中实现实时完成分类、检测和语义分割任务？
• RQ2 在多个任务间共享单一编码器，与独立网络相比，对推理速度和准确率有何影响？
• RQ3 具备 ROI-Align 和重缩放层的单阶段检测器，在性能上能在多大程度上接近两阶段检测器（如 Faster R-CNN）？
• RQ4 架构设计选择（如共享编码器和任务特定解码器）对模型效率和准确率有何影响？
• RQ5 与单任务基线相比，联合训练能否提升下游任务（如道路分割）的泛化能力和性能？

主要发现

• MultiNet 在 KITTI 基准测试中实现了道路分割的最先进性能，优于先前方法。
• 结合 ROI-Align 和重缩放层的检测解码器显著提升了检测准确率，同时将推理时间相比 Faster R-CNN 减少了近两倍。
• 使用 VGG 作为编码器时，所有三项任务的联合推理耗时 42.48 毫秒（23.53 FPS），证明了其实时处理能力。
• 在自定义数据集上，MultiNet 架构的分类头达到 98.86% 的平均准确率，显著优于原始 ResNet 和 VGG 基线模型。
• 基于 ResNet 的编码器在准确率上优于 VGG，但推理时间更长，因此 VGG 为基础的 MultiNet 在实时应用中是更优的权衡选择。
• 所提出的重缩放层在计算开销极小的情况下显著提升了检测性能，有效缩小了单阶段与两阶段检测器之间的性能差距。