[论文解读] Towards Robust Rain Removal Against Adversarial Attacks: A Comprehensive Benchmark Analysis and Beyond

Yi Yu, Wenhan Yang+2 more|arXiv (Cornell University)|Mar 31, 2022

Adversarial Robustness in Machine Learning被引用 6

一句话总结

本文首次全面分析了基于深度学习的去雨方法在对抗攻击下的鲁棒性，识别出在扰动下的脆弱性，并通过集成有效模块提出了一种更具鲁棒性的去雨模型。该方法在针对目标攻击（如对象敏感攻击、雨区攻击和难以察觉的攻击）中表现出优越的抗干扰能力，同时保持了良好的视觉质量并提升了下游任务的性能。

ABSTRACT

Rain removal aims to remove rain streaks from images/videos and reduce the disruptive effects caused by rain. It not only enhances image/video visibility but also allows many computer vision algorithms to function properly. This paper makes the first attempt to conduct a comprehensive study on the robustness of deep learning-based rain removal methods against adversarial attacks. Our study shows that, when the image/video is highly degraded, rain removal methods are more vulnerable to the adversarial attacks as small distortions/perturbations become less noticeable or detectable. In this paper, we first present a comprehensive empirical evaluation of various methods at different levels of attacks and with various losses/targets to generate the perturbations from the perspective of human perception and machine analysis tasks. A systematic evaluation of key modules in existing methods is performed in terms of their robustness against adversarial attacks. From the insights of our analysis, we construct a more robust deraining method by integrating these effective modules. Finally, we examine various types of adversarial attacks that are specific to deraining problems and their effects on both human and machine vision tasks, including 1) rain region attacks, adding perturbations only in the rain regions to make the perturbations in the attacked rain images less visible; 2) object-sensitive attacks, adding perturbations only in regions near the given objects. Code is available at https://github.com/yuyi-sd/Robust_Rain_Removal.

研究动机与目标

• 研究在图像严重受雨影响的情况下，基于深度学习的去雨模型对对抗攻击的脆弱性。
• 评估去雨模型中关键架构与损失组件（如注意力机制、循环结构、对抗损失）的鲁棒性。
• 通过整合在对抗条件下表现优异的模块，构建更具鲁棒性的去雨模型。
• 从人类感知与机器视觉两个角度，分析去雨任务特有的新型攻击场景，包括对象敏感攻击与雨区攻击。
• 评估对抗扰动对下游任务（如语义分割）的影响，确保在真实应用场景中的可靠性。

提出的方法

• 在不同扰动范围（如 ε = 4/255）下，系统性评估去雨模型在各类对抗攻击下的表现。
• 采用目标攻击，如对象敏感攻击，仅在源对象区域施加扰动，以误导分割模型。
• 引入仅针对雨区的局部攻击，利用二值掩码将扰动限制在雨滴密度较高的区域。
• 设计难以察觉的攻击，以最大化感知损失偏差，同时最小化MSE损失，从而在保持视觉质量的同时降低机器性能。
• 应用输入接近攻击，最小化输入与输出之间的差异，旨在完全阻止去雨过程。
• 通过消融实验识别出在鲁棒性方面表现优异的模块（如注意力机制、循环结构、对抗损失），并将其整合构建鲁棒的去雨模型。

实验结果

研究问题

• RQ1 当输入图像因强降雨而严重退化时，基于深度学习的去雨模型在对抗攻击下的表现如何？
• RQ2 哪些架构组件（如注意力机制、循环结构、辅助信息）和损失函数（如对抗损失）对抵御对抗扰动最具贡献？
• RQ3 针对特定对象的敏感攻击如何影响去雨模型在语义分割等下游任务中的性能？
• RQ4 将扰动限制在雨区时，其在多大程度上可保持不可察觉性，同时仍显著降低模型性能？
• RQ5 能否设计出在视觉上难以察觉但对机器视觉任务具有高度破坏性的对抗攻击？所提出的模型对此类攻击的鲁棒性如何？

主要发现

• 当输入图像因强降雨严重退化时，基于深度学习的去雨模型对对抗攻击表现出显著更高的脆弱性。
• 在对象敏感攻击下，所提出的鲁棒去雨模型优于MPRNet，能更准确地保留行人、车辆等目标对象的语义分割结果。
• 在雨区攻击下，即使扰动仅作用于雨区，所提模型仍保持更高的输出质量与更好的语义一致性，优于MPRNet。
• 在难以察觉的攻击下，该模型在保持视觉质量的同时有效抵御对机器视觉性能的破坏，下游任务中感知损失偏差更低，表现出更强的鲁棒性。
• 该模型能有效抵抗旨在阻止去雨过程的输入接近攻击，保持输入与输出之间显著差异，表明在对抗压力下仍能实现有效的去雨。
• 注意力机制、循环结构与对抗损失等模块被识别为提升鲁棒性的关键因素，并被整合进最终的模型架构中。