[论文解读] Strength in Numbers: Trading-off Robustness and Computation via Adversarially-Trained Ensembles

Edward Grefenstette, Robert Stanforth+4 more|arXiv (Cornell University)|Nov 22, 2018

Adversarial Robustness in Machine Learning参考文献 28被引用 6

一句话总结

本文提出通过对抗性训练一个小型模型集合作为单一统一模型，以比单纯扩大单个大模型更高效地提升对抗鲁棒性。关键发现是，鲁棒性源于对整个模型集合的对抗性训练，而非集成本身，这使得在鲁棒性与模型大小之间实现了更高效的计算权衡。

ABSTRACT

While deep learning has led to remarkable results on a number of challenging problems, researchers have discovered a vulnerability of neural networks in adversarial settings, where small but carefully chosen perturbations to the input can make the models produce extremely inaccurate outputs. This makes these models particularly unsuitable for safety-critical application domains (e.g. self-driving cars) where robustness is extremely important. Recent work has shown that augmenting training with adversarially generated data provides some degree of robustness against test-time attacks. In this paper we investigate how this approach scales as we increase the computational budget given to the defender. We show that increasing the number of parameters in adversarially-trained models increases their robustness, and in particular that ensembling smaller models while adversarially training the entire ensemble as a single model is a more efficient way of spending said budget than simply using a larger single model. Crucially, we show that it is the adversarial training of the ensemble, rather than the ensembling of adversarially trained models, which provides robustness.

研究动机与目标

• 研究深度学习模型中计算成本与对抗鲁棒性之间的权衡。
• 解决神经网络对微小、有针对性的输入扰动敏感而导致误分类的问题。
• 探索在结合对抗性训练时，模型集成是否能增强鲁棒性。
• 确定鲁棒性增益来源于集成结构本身，还是源于对整个集合的对抗性训练。
• 在固定参数预算下，评估不同策略（单个大模型 vs. 集成）的效率。

提出的方法

• 将一组小型神经网络联合训练为单一联合模型，并对整个集合同时应用对抗性训练。
• 在训练过程中使用迭代对抗攻击方法（如 PGD、IFGSM）生成扰动，以优化集合的鲁棒性。
• 比较参数量相同的模型：单个大模型、未经对抗性训练的模型集合，以及作为整体进行对抗性训练的模型集合。
• 使用多种攻击类型（FGSM、PGD）和指标（干净准确率、不同攻击步数下的鲁棒准确率）评估鲁棒性。
• 进行消融分析，以分离出集成训练与仅集成本身对性能的贡献。
• 在 CIFAR-10 上采用受控设置，比较模型在训练动态、最终性能以及面对更强攻击时的鲁棒性表现。

实验结果

研究问题

• RQ1 将一个模型集合作为单一模型进行对抗性训练，是否比使用相同参数量的单个大模型进行训练，能更有效地提升鲁棒性？
• RQ2 集成带来的鲁棒性增益是源于集成结构本身，还是特定于对整个集合的对抗性训练？
• RQ3 将整个集合进行对抗性训练的集成模型，其鲁棒性与总参数量相同但各自独立进行对抗性训练的模型相比如何？
• RQ4 在更强的攻击（如更多 PGD 步骤）下，集成模型的鲁棒性是否会下降，与单模型基线相比表现如何？
• RQ5 通过使用更小的模型组成集成，而非扩大单个模型，能否实现更好的鲁棒性-计算效率？

主要发现

• 将一个模型集合作为单一模型进行对抗性训练，其鲁棒性显著高于使用相同参数量的单个大模型。
• Ensemble2Adv 模型在 PGD20 下达到 52% 的准确率，比 SingleAdv 基线（45%）高出 7 个百分点，比 DoubleAdv 模型（47%）高出 5 个百分点，尽管参数量相同。
• 作为整体进行对抗性训练的集合比未经对抗性训练的集合在 PGD20 下高出 29 个百分点的鲁棒性（Ensemble2 vs. Ensemble2Adv）。
• 对抗性训练的集合鲁棒性在训练过程中保持稳定，而未经对抗性训练的模型则表现出短暂的鲁棒性，且随着训练时间延长而衰减。
• 对集合中每个模型分别进行对抗性训练（Separate2Adv）所获得的鲁棒性与单个对抗性训练模型相似，表明仅集成结构本身并不能带来鲁棒性增益。
• 即使在 500 步 PGD 攻击下，Ensemble2Adv 模型仍比 SingleAdv 基线保持 7 个百分点的准确率优势，证实其在强攻击下仍具备持续的鲁棒性。