[论文解读] Rethinking Model Ensemble in Transfer-based Adversarial Attacks

Huanran Chen, Yichi Zhang+4 more|arXiv (Cornell University)|Mar 16, 2023

Adversarial Robustness in Machine Learning被引用 6

一句话总结

本文提出了一种名为通用弱点攻击（Common Weakness Attack, CWA）的新方法，通过针对模型集成中损失曲面的平坦性以及对局部最优解的接近程度，提升基于迁移的对抗性攻击效果。通过整合Sharpness Aware Minimization（SAM）与Cosine Similarity Encourager（CSE），CWA生成了更具迁移性的对抗性样本，在对抗性训练模型上相比使用logits集成的MI方法，成功率高出30%。

ABSTRACT

It is widely recognized that deep learning models lack robustness to adversarial examples. An intriguing property of adversarial examples is that they can transfer across different models, which enables black-box attacks without any knowledge of the victim model. An effective strategy to improve the transferability is attacking an ensemble of models. However, previous works simply average the outputs of different models, lacking an in-depth analysis on how and why model ensemble methods can strongly improve the transferability. In this paper, we rethink the ensemble in adversarial attacks and define the common weakness of model ensemble with two properties: 1) the flatness of loss landscape; and 2) the closeness to the local optimum of each model. We empirically and theoretically show that both properties are strongly correlated with the transferability and propose a Common Weakness Attack (CWA) to generate more transferable adversarial examples by promoting these two properties. Experimental results on both image classification and object detection tasks validate the effectiveness of our approach to improving the adversarial transferability, especially when attacking adversarially trained models. We also successfully apply our method to attack a black-box large vision-language model -- Google's Bard, showing the practical effectiveness. Code is available at \url{https://github.com/huanranchen/AdversarialAttacks}.

研究动机与目标

• 理解为何模型集成在黑箱对抗性攻击中能提升迁移性，而不仅仅是简单地对模型输出进行平均。
• 识别出使集成攻击更有效的潜在属性——损失曲面的平坦性与对局部最优解的接近程度。
• 开发一种系统性方法，显式地针对多个模型之间的共享弱点进行优化。
• 在不依赖查询访问或高计算成本的前提下，提升对抗性迁移能力，特别是针对对抗性训练模型。

提出的方法

• 该方法通过二次近似形式化了集成目标，揭示出迁移性取决于海森矩阵的Frobenius范数（即平坦性）以及到每个模型局部最优解的L2距离的平方。
• 引入Sharpness Aware Minimization（SAM）以通过最小化损失与尖锐度的联合目标来促进平坦的损失曲面。
• 应用Cosine Similarity Encourager（CSE）以对齐各模型间的梯度，促进收敛至共同的局部最优解附近。
• 该方法与现有优化方法（如MI、TI和Adam）正交，可无缝集成以实现进一步的性能提升。
• 该方法在图像分类与目标检测任务上均得到验证，包括对检测器生成通用对抗性贴图。
• CWA计算效率高，在仅T=5次迭代时即优于基线方法，表明其有效性并非源于高迭代次数。

实验结果

研究问题

• RQ1 为何模型集成在黑箱对抗性攻击中能提升迁移性，而不仅仅是对模型输出进行简单平均？
• RQ2 损失曲面的几何属性——特别是平坦性与对局部最优解的接近程度——如何与对抗性迁移性相关联？
• RQ3 我们能否显式地针对多个模型之间的共享‘通用弱点’进行优化，以生成更具迁移性的对抗性样本？
• RQ4 海森矩阵范数与到局部最优解的距离在多大程度上可预测集成攻击中的迁移性？
• RQ5 所提出的方法能否与现有攻击算法有效结合，以进一步提升性能？

主要发现

• 在24个对抗性训练模型上，MI-CWA相比使用logits集成的MI方法，攻击成功率高出30%，证明了其卓越的迁移能力。
• 通过在多个防御模型上可视化，CWA生成的对抗性样本周围的损失曲面比MI更平坦。
• CWA显著提高了代理模型与黑箱模型之间梯度的余弦相似度，表明其更好地对齐了共享弱点。
• 即使仅使用T=5次迭代，CWA的表现仍优于其他方法，证明其有效性并非源于高计算成本。
• 在目标检测任务中，Adam-CWA生成的通用对抗性贴图在8个现代检测器上实现了9.85的mAP，超越了先前工作。
• 消融实验表明，平坦性与对局部最优解的接近程度均为关键组件，若任一被移除，性能均会下降。