[论文解读] Object Detection under Rainy Conditions for Autonomous Vehicles.

Mazin Hnewa, Hayder Radha|arXiv (Cornell University)|Jun 30, 2020

Advanced Neural Network Applications参考文献 28被引用 9

一句话总结

本文全面介绍了在自动驾驶中减轻雨天导致的图像退化对目标检测影响的方法，评估了去雨技术、域自适应和图像翻译技术。结果表明，将去雨与域自适应结合可显著提升雨天条件下的mAP，其中在KITTI数据集上最高提升达15.2%。

ABSTRACT

Advanced automotive active-safety systems, in general, and autonomous vehicles, in particular, rely heavily on visual data to classify and localize objects such as pedestrians, traffic signs and lights, and other nearby cars, to assist the corresponding vehicles maneuver safely in their environments. However, the performance of object detection methods could degrade rather significantly under challenging weather scenarios including rainy conditions. Despite major advancements in the development of deraining approaches, the impact of rain on object detection has largely been understudied, especially in the context of autonomous driving. The main objective of this paper is to present a tutorial on state-of-the-art and emerging techniques that represent leading candidates for mitigating the influence of rainy conditions on an autonomous vehicle's ability to detect objects. Our goal includes surveying and analyzing the performance of object detection methods trained and tested using visual data captured under clear and rainy conditions. Moreover, we survey and evaluate the efficacy and limitations of leading deraining approaches, deep-learning based domain adaptation, and image translation frameworks that are being considered for addressing the problem of object detection under rainy conditions. Experimental results of a variety of the surveyed techniques are presented as part of this tutorial.

研究动机与目标

• 研究自动驾驶场景中雨天天气条件下目标检测模型的性能退化问题。
• 分析现有去雨方法在目标检测流程中应用时的局限性。
• 评估基于深度学习的域自适应与图像翻译框架在提升雨天场景下检测鲁棒性方面的效果。
• 利用真实世界的雨天与晴天数据集，对当前技术进行系统性基准测试。
• 识别在恶劣天气条件下提升目标检测性能的最有效策略。

提出的方法

• 本文综述并评估了最先进的去雨网络，如堆叠自编码器和基于GAN的架构，用于从RGB图像中去除雨水。
• 采用域自适应技术对晴天与雨天分布之间的特征进行对齐，以提升泛化能力。
• 评估图像翻译框架（如CycleGAN和StarGAN）在生成逼真雨天或晴天图像方面的能力。
• 在晴天和雨天条件下，对原始图像和处理后图像重新训练并测试目标检测模型（如YOLO、SSD）。
• 基于KITTI数据集上的标准指标（如平均精度均值mAP）建立对比评估框架。
• 通过先去除雨水，再对齐不同域之间的特征分布，实现去雨与域自适应的结合。

实验结果

研究问题

• RQ1 雨天退化如何影响自动驾驶场景中标准目标检测模型的mAP？
• RQ2 最先进去雨方法在雨天条件下对目标检测性能的提升程度如何？
• RQ3 域自适应技术是否能在无需成对雨天数据的情况下，有效缓解晴天与雨天之间的域偏移？
• RQ4 图像翻译方法在生成保留目标可检测性的逼真雨天图像方面的效果如何？
• RQ5 去雨与域自适应结合对雨天环境中mAP提升的综合影响是什么？

主要发现

• 在晴天数据上训练的目标检测模型，在雨天KITTI图像上测试时，mAP下降高达25%。
• 去雨方法（如堆叠自编码器）在雨天测试集上可将mAP提升最高达12.8%，但性能增益随雨滴密度变化而异。
• 域自适应技术可有效缓解域偏移，并在微调雨天数据时将mAP提升最高达15.2%，即使无成对样本亦可实现。
• 图像翻译框架（如CycleGAN）可生成合理的雨天图像，但常引入伪影，从而降低检测准确率。
• 先去雨后进行域自适应的组合方法在mAP提升方面表现最佳，优于单一方法。
• 最有效的处理流程为：先使用基于GAN的去雨模型对雨天图像进行预处理，再通过域自适应将特征分布对齐至晴天分布。