[论文解读] One Bit Matters: Understanding Adversarial Examples as the Abuse of Redundancy

Jingkang Wang, Ruoxi Jia+3 more|arXiv (Cornell University)|Oct 23, 2018

Adversarial Robustness in Machine Learning参考文献 35被引用 4

一句话总结

本文提出，对抗性样本源于机器学习模型中特征冗余的滥用，利用信息论证明冗余是对抗脆弱性的必要条件。通过理论和实验表明，通过压缩或量化减少输入冗余可提高模型鲁棒性，实证结果表明鲁棒模型的特征图熵更低。

ABSTRACT

Despite the great success achieved in machine learning (ML), adversarial examples have caused concerns with regards to its trustworthiness: A small perturbation of an input results in an arbitrary failure of an otherwise seemingly well-trained ML model. While studies are being conducted to discover the intrinsic properties of adversarial examples, such as their transferability and universality, there is insufficient theoretic analysis to help understand the phenomenon in a way that can influence the design process of ML experiments. In this paper, we deduce an information-theoretic model which explains adversarial attacks as the abuse of feature redundancies in ML algorithms. We prove that feature redundancy is a necessary condition for the existence of adversarial examples. Our model helps to explain some major questions raised in many anecdotal studies on adversarial examples. Our theory is backed up by empirical measurements of the information content of benign and adversarial examples on both image and text datasets. Our measurements show that typical adversarial examples introduce just enough redundancy to overflow the decision making of an ML model trained on corresponding benign examples. We conclude with actionable recommendations to improve the robustness of machine learners against adversarial examples.

研究动机与目标

• 使用信息论和计算热力学解释对抗性样本的根本原因。
• 确立特征冗余是对抗性样本存在的必要条件。
• 在图像和文本模型中，实证测量输入冗余与对抗鲁棒性之间的关系。
• 提出通过减少输入冗余以提升模型鲁棒性的可操作设计建议。
• 探索利用压缩技术作为检测对抗性样本的预处理过滤器。

提出的方法

• 基于香农通信理论构建信息论模型，将对抗性样本视为对冗余特征的滥用。
• 理论证明特征冗余是机器学习模型中对抗性样本存在的必要条件。
• 使用最大似然估计（MLE）和JVHW估计器实证测量最后一层特征图的压缩熵，以量化冗余程度。
• 在训练过程中对输入数据应用有损压缩和量化，以减少冗余并提升鲁棒性。
• 利用基于压缩的复杂度估计作为代理指标，通过识别低复杂度输入来检测对抗性样本。
• 在多个数据集（MNIST、CIFAR）和多种对抗攻击类型（FGSM、DeepFool、CW）上验证研究结果。

实验结果

研究问题

• RQ1 为何存在对抗性样本？机器学习模型的何种基本属性使其成为可能？
• RQ2 特征冗余是否为对抗性样本存在的必要条件？
• RQ3 输入和特征表示的冗余程度与对抗鲁棒性之间有何相关性？
• RQ4 通过压缩或量化减少输入冗余是否可提升模型对对抗攻击的鲁棒性？
• RQ5 基于压缩的复杂度估计能否作为检测对抗性样本的实际预处理过滤器？

主要发现

• 特征冗余是对抗性样本存在的必要条件，已通过信息论分析证明。
• 对抗性样本引入的冗余量恰好足以使在良性数据上训练的模型决策边界溢出。
• 鲁棒模型在其最后一层特征图中表现出更低的压缩熵，表明冗余减少。
• 在训练过程中逐步增加输入量化程度并监控准确率，可识别出冗余最小化与鲁棒性最大化之间的平衡点。
• 有损压缩和量化技术可减少冗余并提升鲁棒性，实证结果表明鲁棒模型的熵值持续降低。
• 基于压缩的复杂度估计可作为检测对抗性样本的实际预处理过滤器，通过识别低复杂度输入实现。