[论文解读] Towards Understanding Limitations of Pixel Discretization Against Adversarial Attacks

Jiefeng Chen, Xi Wu+3 more|arXiv (Cornell University)|May 20, 2018

Adversarial Robustness in Machine Learning参考文献 33被引用 4

一句话总结

本文研究了像素离散化作为一种对抗性攻击的预处理防御方法，提出了基于数据感知的离散化技术以提升鲁棒性。尽管进行了理论和实证分析，研究发现此类方法在CIFAR-10等复杂数据集上面对强白盒攻击时仍会失效，原因在于聚类可分性存在固有局限，结论为像素离散化在MNIST等简单数据集之外难以有效。

ABSTRACT

Wide adoption of artificial neural networks in various domains has led to an increasing interest in defending adversarial attacks against them. Preprocessing defense methods such as pixel discretization are particularly attractive in practice due to their simplicity, low computational overhead, and applicability to various systems. It is observed that such methods work well on simple datasets like MNIST, but break on more complicated ones like ImageNet under recently proposed strong white-box attacks. To understand the conditions for success and potentials for improvement, we study the pixel discretization defense method, including more sophisticated variants that take into account the properties of the dataset being discretized. Our results again show poor resistance against the strong attacks. We analyze our results in a theoretical framework and offer strong evidence that pixel discretization is unlikely to work on all but the simplest of the datasets. Furthermore, our arguments present insights why some other preprocessing defenses may be insecure.

研究动机与目标

• 理解为何预处理防御方法如像素离散化在复杂数据集上面对强白盒攻击时会失效。
• 探究基于数据的像素离散化技术是否相比通用的、与分布无关的方法能显著提升鲁棒性。
• 基于数据聚类与可分性，构建分析像素离散化防御鲁棒性的理论框架。
• 在特定条件下提供对抗鲁棒性的形式化证书，尤其针对简单数据集。
• 通过分析强攻击下的结构脆弱性，将洞察推广至其他预处理防御机制。

提出的方法

• 提出基于数据感知的像素离散化方法，根据数据分布构建码字，而非使用固定或均匀的量化方式。
• 将像素离散化建模为聚类过程，根据输入空间中的接近程度将像素分配至码字。
• 引入理论框架，分析准确率与鲁棒性之间的权衡，强调良好分离聚类的必要性。
• 开发对抗鲁棒性的形式化证书，界定改变离散化输出所需的最小扰动大小。
• 采用反向传播可微分近似（BPDA）攻击作为强基准，评估防御的鲁棒性。
• 在MNIST和CIFAR-10上进行实证评估，比较标准与基于数据的离散化技术在对抗环境下的性能。

实验结果

研究问题

• RQ1 基于数据的像素离散化技术是否能显著优于标准的、与分布无关的方法，从而提升对抗鲁棒性？
• RQ2 在何种条件下，像素离散化可形式化保证对抗鲁棒性？
• RQ3 为何预处理防御如像素离散化在CIFAR-10等复杂数据集上会失效，尽管其在MNIST上表现成功？
• RQ4 数据分布中像素聚类的可分性如何影响基于离散化的防御的鲁棒性？
• RQ5 从像素离散化获得的理论洞见在多大程度上可推广至其他预处理防御机制？

主要发现

• 像素离散化在MNIST等简单数据集上表现良好，因为像素聚类分离良好，且可形式化认证其鲁棒性。
• 在CIFAR-10等复杂数据集上，由于聚类可分性差，像素离散化在面对强白盒攻击（如BPDA）时会失效。
• 该方法的鲁棒性从根本上受限于准确率与鲁棒性之间的权衡：为保证准确率而需要的小聚类会导致脆弱的边界。
• 即使采用复杂的、基于数据感知的离散化技术，也无法在复杂数据上显著提升鲁棒性，因为底层基础模型的对抗鲁棒性不足，无法通过预处理弥补。
• 理论分析表明，由于难以形成良好分离的聚类，像素离散化在除最简单数据集外的其他数据集上均不太可能有效。
• 研究结果表明预处理防御存在普遍性漏洞：若基础模型缺乏鲁棒性，则仅靠预处理无法在强攻击下确保安全性。