[论文解读] On the Limitations of Stochastic Pre-processing Defenses

Yue Gao, Ilia Shumailov+2 more|arXiv (Cornell University)|Jun 19, 2022

Adversarial Robustness in Machine Learning被引用 5

一句话总结

本文研究了随机预处理防御——即在模型推理前应用的随机输入变换——并证明其在根本上存在局限性。研究表明，大多数此类防御因随机性不足而无法抵御标准攻击（如PGD），且鲁棒性与模型对随机化不变性之间存在权衡，从而削弱了其有效性。作者提供了理论和实证证据，表明仅靠随机性并不能确保鲁棒性，未来防御必须将鲁棒性与对随机化的不变性解耦，以避免失败。

ABSTRACT

Defending against adversarial examples remains an open problem. A common belief is that randomness at inference increases the cost of finding adversarial inputs. An example of such a defense is to apply a random transformation to inputs prior to feeding them to the model. In this paper, we empirically and theoretically investigate such stochastic pre-processing defenses and demonstrate that they are flawed. First, we show that most stochastic defenses are weaker than previously thought; they lack sufficient randomness to withstand even standard attacks like projected gradient descent. This casts doubt on a long-held assumption that stochastic defenses invalidate attacks designed to evade deterministic defenses and force attackers to integrate the Expectation over Transformation (EOT) concept. Second, we show that stochastic defenses confront a trade-off between adversarial robustness and model invariance; they become less effective as the defended model acquires more invariance to their randomization. Future work will need to decouple these two effects. We also discuss implications and guidance for future research.

研究动机与目标

• 研究依赖推理时随机输入变换的随机预处理防御的根本局限性。
• 挑战广泛持有的观点，即随机性本身能提高对抗攻击的成本。
• 识别并分析此类防御所引发的对抗鲁棒性与模型不变性之间的权衡。
• 通过揭示当前随机化策略的陷阱，为未来防御设计提供指导。

提出的方法

• 作者在多个随机防御上系统地进行了实证评估，使用标准对抗攻击（如无期望变换EOT的PGD），在最小自适应假设下测试其鲁棒性。
• 分析了增加随机化空间（如BaRT）对防御效果的影响，对比有无EOT的结果。
• 发展了理论分析，形式化了鲁棒性与不变性之间的权衡，表明鲁棒性源于诱导的方差，而该方差必须被降低以恢复模型效用。
• 在标准数据集（如ImageNet、ImageNette）和模型上进行了实证验证，测量当模型微调为对变换保持不变时鲁棒性的退化情况。
• 评估了知名防御（如BaRT、DiffPure）及新型防御（包括随机激活剪枝和中断激活），以评估其泛化能力。
• 从观察到的模式中推导出未来攻击与防御设计的指导原则，强调必须将鲁棒性与不变性解耦。

实验结果

研究问题

• RQ1 为何许多随机预处理防御在依赖随机性的情况下，仍对标准攻击（如PGD）失效？
• RQ2 期望变换（EOT）在破坏随机防御中起什么作用？它在何时才是真正必要的？
• RQ3 模型对随机变换的不变性如何影响随机防御的鲁棒性？
• RQ4 能否在随机预处理防御中形式化建立鲁棒性与不变性之间的理论权衡？
• RQ5 未来随机防御应遵循哪些设计原则，以避免当前方法的陷阱？

主要发现

• 大多数随机预处理防御的随机性不足以抵御标准攻击（如PGD），即使在无EOT的情况下也如此，这削弱了‘随机性本身能提高攻击成本’的假设。
• 仅当防御具有足够高的随机性时，EOT才提供优势；否则，标准攻击已能有效攻击，表明对鲁棒性的高估。
• 对抗鲁棒性与模型不变性之间存在根本性权衡：随着模型对随机变换的不变性增强，鲁棒性反而下降。
• 实证结果表明，对防御增强数据进行微调会降低模型鲁棒性，证实了理论上的权衡。
• 理论分析证明，此类防御中的鲁棒性源于诱导的方差，而为保持效用必须降低该方差，使防御本质上脆弱。
• 研究结果可推广至其他随机防御，包括输入变换之外的类型，如随机激活剪枝和中断激活，表明对防御设计具有广泛影响。