[论文解读] Universal Adversarial Attack on Attention and the Resulting Dataset DAmageNet

Sizhe Chen, Zhengbao He+3 more|arXiv (Cornell University)|Jan 16, 2020

Adversarial Robustness in Machine Learning被引用 13

一句话总结

本文提出了一种新型黑箱对抗攻击方法——注意力攻击（Attack on Attention, AoA），通过优化注意力图失真而非交叉熵损失来提升攻击的迁移性。通过从ImageNet生成50,000个通用对抗样本，AoA在13个训练良好的模型上实现了超过85%的top-1错误率，并构建了首个通用对抗样本数据集DAmageNet，该数据集即使在对抗训练和多种防御机制下依然有效。

ABSTRACT

Adversarial attacks on deep neural networks (DNNs) have been found for several years. However, the existing adversarial attacks have high success rates only when the information of the victim DNN is well-known or could be estimated by the structure similarity or massive queries. In this paper, we propose to Attack on Attention (AoA), a semantic property commonly shared by DNNs. AoA enjoys a significant increase in transferability when the traditional cross entropy loss is replaced with the attention loss. Since AoA alters the loss function only, it could be easily combined with other transferability-enhancement techniques and then achieve SOTA performance. We apply AoA to generate 50000 adversarial samples from ImageNet validation set to defeat many neural networks, and thus name the dataset as DAmageNet. 13 well-trained DNNs are tested on DAmageNet, and all of them have an error rate over 85%. Even with defenses or adversarial training, most models still maintain an error rate over 70% on DAmageNet. DAmageNet is the first universal adversarial dataset. It could be downloaded freely and serve as a benchmark for robustness testing and adversarial training.

研究动机与目标

• 解决现有依赖结构相似性或梯度相似性的黑箱对抗攻击迁移性有限的问题。
• 识别并利用深度神经网络中的共同语义脆弱点：注意力图的一致性。
• 设计一种损失函数，通过聚焦于注意力而非分类损失来增强攻击的迁移性。
• 构建大规模通用对抗样本数据集（DAmageNet），用于鲁棒性评估与对抗训练。
• 证明基于注意力的攻击在迁移性方面优于传统方法，即使在强防御机制下依然有效。

提出的方法

• 用基于注意力的损失替代标准交叉熵损失，通过惩罚与原始注意力图分布的偏离来优化。
• 训练对抗攻击网络，生成在保持图像不可察觉性的同时使注意力图发生散射的扰动。
• 使用训练好的攻击模型在ImageNet验证集上生成通用对抗样本。
• 将该攻击应用于50,000张ImageNet验证图像，生成DAmageNet——一个通用对抗样本数据集。
• 将AoA与现有迁移性增强技术（如SI）结合，进一步提升性能。
• 在多种模型上评估生成的对抗样本，包括经过对抗训练和防御机制保护的模型。

实验结果

研究问题

• RQ1 注意力图是否可作为多种深度神经网络中通用的语义脆弱点，用于黑箱攻击？
• RQ2 用注意力损失替代交叉熵损失是否能显著提升攻击的迁移性？
• RQ3 一组单一的对抗扰动能否在具有不同架构的广泛预训练模型上实现泛化？
• RQ4 AoA生成的样本在经过对抗训练或输入预处理加固的模型上是否依然有效？
• RQ5 能否利用基于注意力的攻击构建大规模通用对抗样本数据集，以作为鲁棒性评估的基准？

主要发现

• 与基于标准交叉熵损失的攻击相比，AoA将迁移性提升了10%至15%，尤其是在结合迁移性增强技术时效果更显著。
• 使用AoA生成的DAmageNet在13个未启用任何防御机制的优秀训练模型上实现了超过85%的top-1错误率。
• 即使在DAmageNet上进行对抗训练的模型，其错误率仍高于70%，表明AoA下存在严重的鲁棒性失效。
• JPEG压缩、像素化和随机化等防御手段在DAmageNet上仅导致错误率轻微下降，表明其效果有限。
• 特征去噪模型表现出更强的鲁棒性，但基于预处理的防御手段无法有效缓解AoA攻击。
• DAmageNet是首个通用对抗样本数据集，可免费用于模型鲁棒性评估与对抗训练基准测试。