[论文解读] Optimal Sensor Data Fusion Architecture for Object Detection in Adverse Weather Conditions

Andreas Pfeuffer, Klaus Dietmayer|arXiv (Cornell University)|Jul 6, 2018

Remote-Sensing Image Classification被引用 7

一句话总结

本文提出了一种用于恶劣天气下目标检测的后期融合传感器数据架构，表明延迟融合可提升对传感器退化和恶劣条件的鲁棒性。通过在恶劣天气数据上进行训练，并将空间校准作为先验知识引入，该方法在 adverse-Kitti 上的 mAP 最高提升了 20%，且后期融合在所有指标上均优于早期融合与中期融合。

ABSTRACT

A good and robust sensor data fusion in diverse weather conditions is a quite challenging task. There are several fusion architectures in the literature, e.g. the sensor data can be fused right at the beginning (Early Fusion), or they can be first processed separately and then concatenated later (Late Fusion). In this work, different fusion architectures are compared and evaluated by means of object detection tasks, in which the goal is to recognize and localize predefined objects in a stream of data. Usually, state-of-the-art object detectors based on neural networks are highly optimized for good weather conditions, since the well-known benchmarks only consist of sensor data recorded in optimal weather conditions. Therefore, the performance of these approaches decreases enormously or even fails in adverse weather conditions. In this work, different sensor fusion architectures are compared for good and adverse weather conditions for finding the optimal fusion architecture for diverse weather situations. A new training strategy is also introduced such that the performance of the object detector is greatly enhanced in adverse weather scenarios or if a sensor fails. Furthermore, the paper responds to the question if the detection accuracy can be increased further by providing the neural network with a-priori knowledge such as the spatial calibration of the sensors.

研究动机与目标

• 评估并比较三种传感器融合架构——早期融合、中期融合与后期融合——在恶劣天气条件下的目标检测性能。
• 解决最先进目标检测器（如 Faster R-CNN）在真实恶劣天气环境中部署时性能下降的问题。
• 探究将传感器空间校准等先验知识引入是否能提升检测精度。
• 开发一种可增强对传感器故障与恶劣天气条件鲁棒性的训练策略。
• 确定在良好天气下表现最优的融合架构是否在恶劣条件下依然最优。

提出的方法

• 本研究以 Faster R-CNN 作为基础检测器，评估三种融合架构：早期融合（相机与激光雷达特征在早期进行拼接）、中期融合（在中间特征层级进行融合）和后期融合（分别提取特征后在后期进行拼接）。
• 提出一种新型训练策略，即在 adverse-Kitti 数据集上对模型进行微调，以提升在雾、雨、雪及低光照条件下的性能。
• 将传感器之间的空间校准信息作为先验知识注入神经网络架构中，以改善特征对齐与融合精度。
• 评估使用 VGG16 和 VGG16m 作为特征编码器，分别在标准 Kitti 和 adverse-Kitti 基准上计算 mAP。
• 在相同训练条件与超参数下比较融合策略，以确保评估的公平性。
• 分析传感器故障（如激光雷达失效）对各类融合方式检测性能的影响。

实验结果

研究问题

• RQ1 在恶劣天气条件下，后期融合是否在目标检测中优于早期融合与中期融合？
• RQ2 与仅在良好天气数据上训练的模型相比，在恶劣天气数据上进行训练是否能显著提升检测器的鲁棒性？
• RQ3 将空间校准作为先验知识是否能提升检测精度，尤其是在小型神经网络中？
• RQ4 在良好天气下表现最优的融合架构是否在恶劣条件下依然最优？
• RQ5 传感器故障（如激光雷达失效）对不同融合架构的性能影响如何？

主要发现

• 在恶劣天气条件下，后期融合在所有类别和特征编码器上均持续优于早期融合与中期融合，mAP 最高。
• 在 adverse-Kitti 数据集上进行训练使 VGG16m 的 mAP 平均提升约 20%，但标准 Kitti 上的性能下降了约 5%。
• 对于更大的网络（如 VGG16），在 adverse-Kitti 上训练可提升其在 adverse-Kitti 上的 mAP，同时在标准 Kitti 上保持或略微提升性能。
• 后期融合对传感器故障表现出更强的鲁棒性：当激光雷达数据被移除时，检测器的准确率显著高于最先进水平的 Faster R-CNN。
• 将空间校准作为先验知识可提升性能，尤其在小型网络中效果更明显，且在后期融合中表现最为显著。
• 结果证实，越晚的融合越能提升鲁棒性，因为早期融合会将传感器噪声与故障在整个特征提取流程中传播。