[论文解读] Revisiting Adversarial Risk

Arun Sai Suggala, Adarsh Prasad+2 more|arXiv (Cornell University)|Jun 7, 2018

Adversarial Robustness in Machine Learning参考文献 28被引用 12

一句话总结

本文重新定义了对抗性扰动，排除了真实标签发生变化的情况，解决了标准准确率与对抗性准确率之间看似存在的权衡。通过修改定义，仅对改变预测结果但不改变真实标签的扰动进行惩罚，作者证明了具备鲁棒性且准确率高的分类器是存在的，从而挑战了先前关于二者存在固有权衡的论断。

ABSTRACT

Recent works on adversarial perturbations show that there is an inherent trade-off between standard test accuracy and adversarial accuracy. Specifically, they show that no classifier can simultaneously be robust to adversarial perturbations and achieve high standard test accuracy. However, this is contrary to the standard notion that on tasks such as image classification, humans are robust classifiers with low error rate. In this work, we show that the main reason behind this confusion is the inexact definition of adversarial perturbation that is used in the literature. To fix this issue, we propose a slight, yet important modification to the existing definition of adversarial perturbation. Based on the modified definition, we show that there is no trade-off between adversarial and standard accuracies; there exist classifiers that are robust and achieve high standard accuracy. We further study several properties of this new definition of adversarial risk and its relation to the existing definition.

研究动机与目标

• 解决深度学习模型在图像分类中对对抗攻击的脆弱性与人类在图像分类中表现出的鲁棒性之间的矛盾。
• 识别现有对抗性风险定义中的缺陷，即假设输入邻域内真实标签保持不变。
• 提出一种新的对抗性扰动定义，排除改变真实标签的扰动。
• 证明在新定义下，标准准确率与对抗性准确率之间不存在固有权衡。
• 表明分类器可以同时实现高标准准确率和对对抗性扰动的鲁棒性。

提出的方法

• 提出一种修改后的对抗性扰动定义，排除在扰动点处真实标签发生变化的任何扰动。
• 基于仅影响分类器输出但保持真实标签不变的扰动来定义对抗性风险。
• 使用基于间隔的分析表明，在新定义下，高标准准确率并不排除鲁棒性。
• 推导出对抗性风险的下界，其依赖于0-1分类误差和权重向量的对偶范数。
• 采用投影梯度下降（PGD）进行对抗性训练，并在新风险定义下评估模型。
• 分析对抗性训练目标中超参数λ对标准与对抗性风险权衡的影响，表明λ=1并非总是最优选择。

实验结果

研究问题

• RQ1 感知到的标准准确率与对抗性准确率之间的权衡是否源于对抗性扰动定义的缺陷，即包含了标签变化的扰动？
• RQ2 在对抗性风险的新定义下，分类器能否同时实现高准确率与高对抗鲁棒性？
• RQ3 排除标签变化扰动对对抗性风险的理论与经验行为有何影响？
• RQ4 对抗性训练目标中超参数λ的选择如何影响标准性能与对抗性能之间的平衡？
• RQ5 在新对抗性风险定义下，能否有意义地应用鲁棒性的形式化验证？

主要发现

• 先前关于标准准确率与对抗性准确率权衡的论断的核心问题在于对抗性扰动定义不精确，包含了标签变化的扰动。
• 在新定义下，不存在固有权衡：分类器可以同时实现高标准准确率和鲁棒性。
• 在新定义下，对抗性风险的下界与0-1分类误差和权重向量的对偶范数成正比。
• 实验表明，使用λ≠1的对抗性训练可获得比λ=1更好的联合性能，表明λ=1并非最优。
• 修改后的定义与人类直觉更一致，因为它排除了改变真实标签的扰动，而人类并不认为此类扰动是对抗性的。