[论文解读] What Doesn't Kill You Makes You Robust(er): Adversarial Training against Poisons and Backdoors.

Jonas Geiping, Liam Fowl+4 more|arXiv (Cornell University)|Feb 26, 2021

Adversarial Robustness in Machine Learning参考文献 39被引用 15

一句话总结

本文提出了一种基于对抗训练的新型防御方法，通过在模型训练过程中注入合成毒化样本，以增强网络对数据 poisoning 和后门攻击的鲁棒性。该方法能有效抵御自适应攻击，在多种毒化威胁模型下具有良好的泛化能力，并且在准确率与鲁棒性的权衡上优于先前的防御方法。

ABSTRACT

Data poisoning is a threat model in which a malicious actor tampers with training data to manipulate outcomes at inference time. A variety of defenses against this threat model have been proposed, but each suffers from at least one of the following flaws: they are easily overcome by adaptive attacks, they severely reduce testing performance, or they cannot generalize to diverse data poisoning threat models. Adversarial training, and its variants, is currently considered the only empirically strong defense against (inference-time) adversarial attacks. In this work, we extend the adversarial training framework to instead defend against (training-time) poisoning and backdoor attacks. Our method desensitizes networks to the effects of poisoning by creating poisons during training and injecting them into training batches. We show that this defense withstands adaptive attacks, generalizes to diverse threat models, and incurs a better performance trade-off than previous defenses.

研究动机与目标

• 为解决现有防御方法在应对数据 poisoning 和后门攻击时的局限性，这些方法在自适应威胁下往往失效或导致模型性能下降。
• 将对抗训练的成功经验——已被证明对推理时攻击有效——扩展到训练时威胁，如数据 poisoning 和后门攻击。
• 开发一种能跨多种毒化威胁模型泛化的防御方法，同时不牺牲模型准确率。
• 构建一种训练框架，使神经网络对恶意训练数据的影响变得不敏感。

提出的方法

• 该方法在对抗训练过程中引入合成毒化样本，这些样本动态生成并注入训练批次中。
• 这些合成毒化样本被精心设计以挑战模型的鲁棒性，模拟训练期间的真实毒化攻击。
• 训练过程在标准优化与包含合成毒化样本的对抗更新之间交替进行，以提升鲁棒性。
• 该防御采用类似于标准对抗训练的极小极大优化框架，但针对毒化威胁模型进行了适配。
• 该方法无需事先知晓确切的毒化模式，从而实现对多种攻击类型的泛化。
• 模型在保持对干净数据高准确率的同时，对已知和自适应的毒化攻击均保持鲁棒性。

实验结果

研究问题

• RQ1 对抗训练能否被有效扩展以防御训练时的数据 poisoning 和后门攻击？
• RQ2 在训练过程中注入合成毒化样本是否能提升模型对自适应 poisoning 攻击的鲁棒性？
• RQ3 与现有 poisoning 防御方法相比，该方法在性能和泛化能力方面表现如何？
• RQ4 该防御能否在保持对干净数据高准确率的同时，对多种毒化威胁模型保持鲁棒性？

主要发现

• 所提出的防御方法能成功抵御能够绕过现有防御的自适应 poisoning 攻击。
• 该方法在多种毒化威胁模型下具有泛化能力，包括目标导向型和非目标导向型攻击。
• 与先前方法相比，该防御在准确率-鲁棒性权衡上表现更优，对干净数据的性能下降最小。
• 在训练过程中注入合成毒化样本能有效降低模型对恶意训练样本的敏感性。