[论文解读] Towards Robust Sensor Fusion in Visual Perception.

Shaojie Wang, Tong Wu+1 more|arXiv (Cornell University)|Jun 23, 2020

Adversarial Robustness in Machine Learning参考文献 37被引用 7

一句话总结

本文研究了自动驾驶中视觉感知传感器融合的鲁棒性，比较了在对抗性攻击下RGB相机与LiDAR的早期融合与晚期融合。结果表明，晚期融合比早期融合更具韧性，为设计在传感器输入受扰动时更具鲁棒性的多模态感知系统提供了洞见。

ABSTRACT

We study the problem of robust sensor fusion in visual perception, especially under the autonomous driving settings. We evaluate the robustness of RGB camera and LiDAR sensor fusion for binary classification and object detection. In this work, we are interested in the behavior of different fusion methods under adversarial attacks on different sensors. We first train both classification and detection models with early fusion and late fusion, then apply different combinations of adversarial attacks on both sensor inputs for evaluation. We also study the effectiveness of adversarial attacks with varying budgets. Experiment results show that while sensor fusion models are generally vulnerable to adversarial attacks, late fusion method is more robust than early fusion. The results also provide insights on further obtaining robust sensor fusion models.

研究动机与目标

• 评估传感器融合方法（特别是早期融合与晚期融合）在RGB和LiDAR传感器遭受对抗性攻击时的鲁棒性。
• 分析不同攻击预算对融合视觉感知模型性能的影响。
• 识别在单个或两个传感器因对抗性扰动而受损时仍能保持可靠性的融合策略。

提出的方法

• 使用早期融合训练独立的二分类和目标检测模型，即将RGB和LiDAR的特征在处理前进行拼接。
• 使用晚期融合训练模型，即在各自模态独立处理后，将预测结果进行组合。
• 对单个或两个传感器输入应用对抗性攻击，采用不同的扰动预算以模拟现实世界中的传感器损坏。
• 在这些攻击下评估模型性能，以比较不同融合策略的鲁棒性。
• 使用标准的对抗性攻击方法（如PGD或FGSM）在输入图像和点云上生成扰动。

实验结果

研究问题

• RQ1 RGB-LiDAR视觉感知中，早期融合与晚期融合的对抗性鲁棒性有何差异？
• RQ2 不同攻击预算如何影响融合模型的性能退化？
• RQ3 当一个传感器受到对抗性操纵时，哪种融合策略能维持更高的准确率？

主要发现

• 在RGB或LiDAR输入遭受对抗性攻击时，晚期融合在保持准确率方面始终优于早期融合。
• 采用早期融合的模型对对抗性扰动表现出更高的脆弱性，尤其是在两个传感器同时遭受攻击时。
• 随着攻击预算的增加，融合模型的鲁棒性下降，但晚期融合在所有预算水平下均保持更强的韧性。
• 对单个传感器的对抗性攻击会显著降低早期融合的性能，而晚期融合则能维持更强的预测一致性。