[论文解读] Semantic Segmentation for Autonomous Driving: Model Evaluation, Dataset Generation, Perspective Comparison, and Real-Time Capability

Senay Cakir, Marcel Gauß+4 more|arXiv (Cornell University)|Jul 26, 2022

Advanced Neural Network Applications被引用 11

一句话总结

本文使用合成与真实图像混合的数据集，评估了 FasterSeg 在自动驾驶场景中实时语义分割的性能。研究提出了一种半自动化的合成数据标注生成流程，比较了第一人称视角与鸟瞰图视角的表现，并证明 FasterSeg 在 NVIDIA Jetson AGX Xavier 上以第一人称视角输入（320×256）实现 247.11 FPS 的推理速度，mIoU 达到 65.44%；同时，使用 FP16 推理可将帧率翻倍，且不损失精度。

ABSTRACT

Environmental perception is an important aspect within the field of autonomous vehicles that provides crucial information about the driving domain, including but not limited to identifying clear driving areas and surrounding obstacles. Semantic segmentation is a widely used perception method for self-driving cars that associates each pixel of an image with a predefined class. In this context, several segmentation models are evaluated regarding accuracy and efficiency. Experimental results on the generated dataset confirm that the segmentation model FasterSeg is fast enough to be used in realtime on lowpower computational (embedded) devices in self-driving cars. A simple method is also introduced to generate synthetic training data for the model. Moreover, the accuracy of the first-person perspective and the bird's eye view perspective are compared. For a $320 imes 256$ input in the first-person perspective, FasterSeg achieves $65.44\,\%$ mean Intersection over Union (mIoU), and for a $320 imes 256$ input from the bird's eye view perspective, FasterSeg achieves $64.08\,\%$ mIoU. Both perspectives achieve a frame rate of $247.11$ Frames per Second (FPS) on the NVIDIA Jetson AGX Xavier. Lastly, the frame rate and the accuracy with respect to the arithmetic 16-bit Floating Point (FP16) and 32-bit Floating Point (FP32) of both perspectives are measured and compared on the target hardware.

研究动机与目标

• 识别适用于自动驾驶遥控车辆低功耗嵌入式系统的快速且高精度的语义分割模型。
• 开发一种可扩展的半自动化方法，用于生成带标注的合成训练数据，以减少人工标注工作量。
• 比较第一人称视角与鸟瞰图视角在自动驾驶语义分割任务中的性能表现。
• 评估在实时部署中使用 FP16 与 FP32 精度对推理速度与精度的影响。

提出的方法

• 使用基于 Gazebo 的仿真环境生成带有可定制道路生成器的合成驾驶场景，支持物体放置与自动标注。
• 通过将仿真生成的合成图像与来自公开数据集的小部分人工标注真实图像相结合，构建混合训练数据集。
• 使用混合数据集，在第一人称视角与鸟瞰图视角下分别对 FasterSeg 模型进行训练与评估。
• 通过几何变换与深度估计，设计数据增强流程，将第一人称图像转换为鸟瞰图表示。
• 在 NVIDIA Jetson AGX Xavier 上，使用 FP16 与 FP32 精度对模型推理进行基准测试，以评估实时性能与精度之间的权衡。
• 评估指标包括 mIoU、各类 IoU 以及帧率（FPS），结果在多种输入分辨率与数据源下进行报告。

实验结果

研究问题

• RQ1 哪种图像分割模型在低功耗嵌入式硬件上具备足够的速度与精度，可实现实时部署于自动驾驶遥控车辆？
• RQ2 如何高效生成带标注的合成训练数据，以最小化人工标注工作量，同时保持模型性能？
• RQ3 在自动驾驶任务中，鸟瞰图视角是否在分割精度上优于第一人称视角？
• RQ4 在实时应用中，使用 16 位浮点数与 32 位浮点数算术对模型精度与推理速度有何影响？

主要发现

• FasterSeg 在 NVIDIA Jetson AGX Xavier 上以第一人称视角输入（320×256）实现 247.11 FPS 的推理速度，mIoU 达到 65.44%。
• 在相同分辨率下，鸟瞰图视角的 mIoU 为 64.08%，表明其性能与第一人称视角相当。
• FP16 推理的帧率约为 FP32 的两倍（例如，在 256×256 分辨率下，鸟瞰图视角的帧率分别为 319.85 FPS 与 190.91 FPS），且精度无显著差异。
• 在所有测试配置中，算术精度（FP16 与 FP32）对 mIoU 的影响无统计学显著性，差异小于 0.03%。
• 半自动化的合成数据生成流程成功减少了标注工作量，同时支持在多样化仿真环境中进行模型训练。
• 即使在高分辨率输入（如 2048×1536）下，模型仍保持较高精度（第一人称视角 mIoU 达 55.80%），尽管帧率显著下降。