[论文解读] YOLOP: You Only Look Once for Panoptic Driving Perception

Dong Wu, Manwen Liao+5 more|arXiv (Cornell University)|Aug 25, 2021

Advanced Neural Network Applications参考文献 35被引用 4

一句话总结

YOLOP 提出了一种实时、端到端的多任务网络，用于全景驾驶感知，通过单一编码器和三个任务专用解码器，联合执行目标检测、可行驶区域分割和车道线检测。该方法在 BDD100K 数据集上达到最先进性能，在 Jetson TX2 嵋载设备上实现 23 FPS 的推理速度，是首个在边缘硬件上实现该多任务感知系统实时推理且保持高精度的系统。

ABSTRACT

A panoptic driving perception system is an essential part of autonomous driving. A high-precision and real-time perception system can assist the vehicle in making the reasonable decision while driving. We present a panoptic driving perception network (YOLOP) to perform traffic object detection, drivable area segmentation and lane detection simultaneously. It is composed of one encoder for feature extraction and three decoders to handle the specific tasks. Our model performs extremely well on the challenging BDD100K dataset, achieving state-of-the-art on all three tasks in terms of accuracy and speed. Besides, we verify the effectiveness of our multi-task learning model for joint training via ablative studies. To our best knowledge, this is the first work that can process these three visual perception tasks simultaneously in real-time on an embedded device Jetson TX2(23 FPS) and maintain excellent accuracy. To facilitate further research, the source codes and pre-trained models are released at https://github.com/hustvl/YOLOP.

研究动机与目标

• 开发一种统一的、实时的自动驾驶感知系统，联合处理目标检测、可行驶区域分割和车道线检测。
• 解决在资源受限的嵌入式设备（如 Jetson TX2）上部署高精度、低延迟感知系统的挑战。
• 验证端到端多任务学习的有效性，且无需复杂的交替优化。
• 探究基于网格的检测头是否比基于区域的方法更适用于语义分割任务。

提出的方法

• 轻量级 CNN 编码器从单张输入图像中提取多尺度特征。
• 使用三个解码器：一个用于目标检测（基于 YOLOv4），一个用于可行驶区域分割，一个用于车道线分割。
• 所有任务通过共享主干网络进行端到端训练，实现特征共享与联合优化。
• 模型在检测头中采用基于网格的预测机制，与分割任务的全局像素级预测具有良好的兼容性。
• 消融研究对比了端到端训练与分步训练，并评估了不同检测框架（基于网格 vs. 基于区域）的影响。
• 该框架在 BDD100K 数据集上使用标准指标进行评估：检测任务使用 AP，分割任务使用 mIoU，车道线检测使用 IoU。

实验结果

研究问题

• RQ1 单一深度学习模型能否在实时条件下同时实现目标检测、可行驶区域分割和车道线检测的最先进性能？
• RQ2 与单独训练各任务相比，端到端多任务学习在精度和效率方面是否表现更优？
• RQ3 单阶段检测器的基于网格的预测机制是否比两阶段检测器的基于区域的机制更适用于语义分割任务？
• RQ4 多任务网络能否在不使用交替优化的情况下有效训练，同时在所有任务上保持高性能？

主要发现

• YOLOP 在 BDD100K 数据集上所有三项任务均达到最先进性能：目标检测（AP: 76.5%）、可行驶区域分割（mIoU: 91.5%）和车道线检测（IoU: 26.2%）。
• 该模型在单张 TITAN XP 上实现 41 FPS，在 Jetson TX2 上实现 23 FPS，是首个在该多任务感知设置下实现在嵌入式硬件上实时推理的系统。
• 端到端多任务训练的性能几乎与单任务训练相当，性能下降极小（例如，检测任务的 AP 为 76.5% vs. 单独检测的 76.9%），同时显著降低推理时间。
• YOLOP 中的基于网格的检测头能够实现与分割头的稳定联合训练，而基于区域的 R-CNNP 框架在同时训练检测与分割任务时表现出性能下降。
• 消融研究证实，基于网格的预测机制比基于区域的方法更适用于语义分割任务，支持 YOLOP 的设计选择。
• 该模型在无需复杂交替优化的情况下，仍能保持所有任务的高精度，证明了端到端训练范式的鲁棒性。