[论文解读] TwinLiteNet: An Efficient and Lightweight Model for Driveable Area and Lane Segmentation in Self-Driving Cars

Quang Huy, Dinh Phuc Nguyen+2 more|arXiv (Cornell University)|Jul 20, 2023

Advanced Neural Network Applications参考文献 27被引用 6

一句话总结

TwinLiteNet 是一种轻量级、高效的深度学习模型，适用于自动驾驶车辆中的实时可行驶区域与车道分割，结合双编码器架构、空洞卷积以及双注意力模块。该模型在可行驶区域分割任务上达到 91.3% 的 mIoU，在车道检测任务上达到 31.08% 的 IoU，参数量仅 0.4M，GPU 上推理速度达 415 FPS，Jetson Xavier NX 上达 60 FPS，适用于边缘设备部署。

ABSTRACT

Semantic segmentation is a common task in autonomous driving to understand the surrounding environment. Driveable Area Segmentation and Lane Detection are particularly important for safe and efficient navigation on the road. However, original semantic segmentation models are computationally expensive and require high-end hardware, which is not feasible for embedded systems in autonomous vehicles. This paper proposes a lightweight model for the driveable area and lane line segmentation. TwinLiteNet is designed cheaply but achieves accurate and efficient segmentation results. We evaluate TwinLiteNet on the BDD100K dataset and compare it with modern models. Experimental results show that our TwinLiteNet performs similarly to existing approaches, requiring significantly fewer computational resources. Specifically, TwinLiteNet achieves a mIoU score of 91.3% for the Drivable Area task and 31.08% IoU for the Lane Detection task with only 0.4 million parameters and achieves 415 FPS on GPU RTX A5000. Furthermore, TwinLiteNet can run in real-time on embedded devices with limited computing power, especially since it achieves 60FPS on Jetson Xavier NX, making it an ideal solution for self-driving vehicles. Code is available: url{https://github.com/chequanghuy/TwinLiteNet}.

研究动机与目标

• 开发一种计算效率高的模型，适用于自动驾驶车辆中嵌入式系统的可行驶区域与车道分割任务。
• 在不牺牲分割精度的前提下，降低模型复杂度与推理成本。
• 实现在低功耗边缘设备（如 Jetson Xavier NX 和 TX2）上的实时推理。
• 集成双注意力与重参数化技术，以提升特征表示能力与推理速度。
• 在显著减少参数量与计算负载的同时，实现与最先进模型相当的性能表现。

提出的方法

• TwinLiteNet 采用受 YOLOP 启发的双分支解码器架构，为可行驶区域与车道检测任务分别设置独立的输出头。
• 使用基于 ESPNet 的主干网络，并结合空洞卷积以扩大感受野，同时不增加参数量。
• 模型引入双注意力模块，以增强低层与高层特征之间的特征融合。
• 采用多个输出头设计，将可行驶区域与车道分割任务解耦，提升任务特异性。
• 在最后几层应用重参数化技术，以加速推理过程，同时保持精度不变。
• 模型在 BDD100K 数据集上进行训练，并采用数据增强策略，包括将车道标注进行 8 像素的膨胀处理，以提升泛化能力。

实验结果

研究问题

• RQ1 轻量级分割模型是否能在边缘设备上实现与实时推理能力相匹配的可行驶区域与车道检测性能？
• RQ2 与单头或共享头设计相比，双分支解码器架构在精度与效率方面表现如何？
• RQ3 双注意力与重参数化技术在轻量级分割模型中对特征学习与推理速度的提升程度如何？
• RQ4 在嵌入式平台上，模型大小、推理速度与分割精度之间存在怎样的权衡关系？
• RQ5 该模型是否能在多样化的光照与道路条件下（包括白天与夜间场景）实现良好泛化？

主要发现

• TwinLiteNet 在可行驶区域分割任务上达到 91.3% 的 mIoU，优于大多数轻量级模型，接近最先进水平。
• 在车道检测任务上，模型取得 31.08% 的 IoU，位列轻量级模型第二名，与 SOTA 模型 HybridNets 相差仅 0.52%。
• 仅使用 0.4 百万个参数，TwinLiteNet 在 RTX A5000 GPU 上实现 415 FPS 的推理速度，展现出极高的计算效率。
• 在 Jetson Xavier NX 上，模型运行速度达 60 FPS，证实其在嵌入式边缘设备上的实时处理能力。
• 消融实验证实，引入双注意力模块、多头设计与重参数化技术可同时提升 mIoU 与 IoU，且保持高推理速度。
• 在 Jetson 设备上，功耗与热性能保持稳定，Xavier NX 平均功耗为 12.5W，温度低于 60°C，表明具备良好的能效比与热稳定性。