[论文解读] On the Limitation of MagNet Defense against $L_1$-based Adversarial Examples

Pei-Hsuan Lu, Pin‐Yu Chen+2 more|arXiv (Cornell University)|Apr 14, 2018

Adversarial Robustness in Machine Learning参考文献 19被引用 11

一句话总结

该论文表明，MagNet——一种结合对抗样本检测器与基于自编码器的数据重构器的防御机制——对通过Elastic-Net攻击（EAD）生成的基于$L_1$的对抗样本无效。尽管在Carlini & Wagner等基于$L_2$的攻击中表现强劲，MagNet无法检测或纠正基于$L_1$的扰动，在标准设置下对MNIST和CIFAR-10的攻击成功率超过90%，暴露出其设计中的关键缺陷。

ABSTRACT

In recent years, defending adversarial perturbations to natural examples in order to build robust machine learning models trained by deep neural networks (DNNs) has become an emerging research field in the conjunction of deep learning and security. In particular, MagNet consisting of an adversary detector and a data reformer is by far one of the strongest defenses in the black-box oblivious attack setting, where the attacker aims to craft transferable adversarial examples from an undefended DNN model to bypass an unknown defense module deployed on the same DNN model. Under this setting, MagNet can successfully defend a variety of attacks in DNNs, including the high-confidence adversarial examples generated by the Carlini and Wagner's attack based on the $L_2$ distortion metric. However, in this paper, under the same attack setting we show that adversarial examples crafted based on the $L_1$ distortion metric can easily bypass MagNet and mislead the target DNN image classifiers on MNIST and CIFAR-10. We also provide explanations on why the considered approach can yield adversarial examples with superior attack performance and conduct extensive experiments on variants of MagNet to verify its lack of robustness to $L_1$ distortion based attacks. Notably, our results substantially weaken the assumption of effective threat models on MagNet that require knowing the deployed defense technique when attacking DNNs (i.e., the gray-box attack setting).

研究动机与目标

• 评估MagNet在黑盒无感知攻击设置下对基于$L_1$的对抗样本的鲁棒性。
• 探究为何基于$L_1$的攻击（如EAD）能比基于$L_2$的攻击更有效地绕过MagNet的防御模块。
• 评估架构选择（如自编码器结构和重建损失）对MagNet防御能力的影响。
• 通过展示即使攻击者不知道防御机制，基于$L_1$的攻击仍能成功，来挑战MagNet在攻击者知晓防御机制时仍具鲁棒性的假设。
• 提供实证与分析性证据，表明基于$L_1$的扰动利用了MagNet检测器与重构器组件中的结构性弱点。

提出的方法

• 作者使用Elastic-Net攻击（EAD）在MNIST和CIFAR-10数据集上生成基于$L_1$与$L_2$的混合对抗样本。
• EAD结合了$L_1$与$L_2$失真度量，并引入促进稀疏性的$L_1$正则项，以最小化非关键像素上的扰动。
• 使用默认配置及鲁棒变体（包括256个滤波器的改进自编码器与平均绝对误差（MAE）重建损失）评估MagNet的防御性能。
• 通过攻击置信度水平（$\beta$）下的攻击成功率（ASR）与分类准确率来衡量防御性能。
• 研究对比了EAD在MagNet检测器（基于$L_1$/$L_2$重建误差与JSD散度）与重构器（基于自编码器的图像重建）上的表现。
• 在MNIST与CIFAR-10上均进行了大量实验，并对检测器类型、重建损失函数与网络深度进行了消融研究。

实验结果

研究问题

• RQ1 由EAD生成的基于$L_1$的对抗样本能否在黑盒无感知攻击设置下成功绕过MagNet的检测器与重构器模块？
• RQ2 为何EAD在绕过MagNet防御机制方面优于Carlini & Wagner等基于$L_2$的攻击？
• RQ3 MagNet中的架构选择（如自编码器深度与重建损失）如何影响其对基于$L_1$的攻击的鲁棒性？
• RQ4 在自编码器训练中使用平均绝对误差（MAE）是否能提升MagNet对基于$L_1$的对抗样本的防御能力？
• RQ5 当攻击者不掌握防御机制（如无感知攻击模型所假设的那样）时，MagNet的防御失效程度如何？

主要发现

• 在MNIST上，EAD在$\beta = 10^{-1}$时对默认MagNet（使用$L_1$规则）的攻击成功率（ASR）达到90.2%，表明防御几乎完全失效。
• 在CIFAR-10上，EAD对默认MagNet的ASR为78.6%，对鲁棒变体（D+256）的ASR高达91.5%，表明即使增强后的MagNet仍对$L_1$攻击高度脆弱。
• 在自编码器训练中使用平均绝对误差（MAE）虽能提升对$L_2$攻击的防御能力，但对基于$L_1$的EAD攻击无效，后者仍能实现超过70%的ASR。
• 基于$L_1$重建误差的MagNet检测器无法有效检测基于$L_1$的对抗样本，即使在低置信度水平（$\beta = 10^{-3}$）下ASR仍很高。
• 基于JSD的检测器（温度$T=40$）虽有所改进，但仍无法阻止EAD在CIFAR-10上实现超过60%的ASR，表明其鲁棒性有限。
• 即使采用256个滤波器的自编码器，MagNet对EAD的防御能力依然微弱，ASR在$\beta = 10^{-1}$时升至93.7%，表明架构扩展无法解决$L_1$层面的漏洞。