[论文解读] Playing it Safe: Adversarial Robustness with an Abstain Option

Cassidy Laidlaw, Soheil Feizi|arXiv (Cornell University)|Nov 25, 2019

Adversarial Robustness in Machine Learning参考文献 28被引用 8

一句话总结

本文提出联合拒识鲁棒性学习（CARL），一种联合训练分类器并定义其在输入空间中可拒识预测的区域以增强对抗鲁棒性的方法。CARL通过学习不确定性感知的拒识，相较于基线方法在MNIST上将对抗误差降低50%以上，同时保持自然准确率，从而提升了鲁棒性与推理效率。

ABSTRACT

We explore adversarial robustness in the setting in which it is acceptable for a classifier to abstain---that is, output no class---on adversarial examples. Adversarial examples are small perturbations of normal inputs to a classifier that cause the classifier to give incorrect output; they present security and safety challenges for machine learning systems. In many safety-critical applications, it is less costly for a classifier to abstain on adversarial examples than to give incorrect output for them. We first introduce a novel objective function for adversarial robustness with an abstain option which characterizes an explicit tradeoff between robustness and accuracy. We then present a simple baseline in which an adversarially-trained classifier abstains on all inputs within a certain distance of the decision boundary, which we theoretically and experimentally evaluate. Finally, we propose Combined Abstention Robustness Learning (CARL), a method for jointly learning a classifier and the region of the input space on which it should abstain. We explore different variations of the PGD and DeepFool adversarial attacks on CARL in the abstain setting. Evaluating against these attacks, we demonstrate that training with CARL results in a more accurate, robust, and efficient classifier than the baseline.

研究动机与目标

• 为解决在错误预测具有高风险的安全关键应用中对抗鲁棒性的挑战。
• 探索一种新范式：分类器在面对对抗输入时可选择拒识，而非错误分类。
• 开发一种联合学习框架，以优化分类与拒识区域，从而提升鲁棒性与效率。
• 评估拒识是否可作为模型不确定性在对抗样本之外的自然输入与分布外输入上的可靠指标。

提出的方法

• 提出一种新颖的目标函数，显式建模自然准确率与对抗鲁棒性之间在拒识条件下的权衡。
• 基于PGD与DeepFool提出六种新型对抗攻击变体，用于生成可误导分类器做出错误预测但避免触发拒识的样本。
• 采用代理损失函数——特别是ℓ_abstain与ℓ_interp——以训练模型在对抗输入上实现正确预测或拒识。
• 在PGD攻击中使用衰减步长，以更好地穿越正确预测与拒识区域之间的微小间隙，提升训练期间的攻击有效性。
• 训练单一神经网络，联合学习分类器与拒识区域，避免推理阶段计算至决策边界的距离。
• 在训练过程中随机采样多个损失函数，以提升对多样化对抗样本的泛化能力与鲁棒性。

实验结果

研究问题

• RQ1 是否可通过允许分类器在对抗输入上拒识而非强制预测，来提升其鲁棒性？
• RQ2 如何显式建模并优化自然准确率与对抗鲁棒性之间的权衡？
• RQ3 与启发式拒识策略相比，联合学习分类器与拒识区域是否能提升鲁棒性与推理效率？
• RQ4 通过CARL学习到的拒识行为是否可作为自然输入与分布外输入下不确定性的可靠指标？

主要发现

• 与基线方法相比，CARL在MNIST上的对抗误差降低超过50%，同时保持相同的自然误差率。
• 在CIFAR-10上，CARL训练的模型超越了基线的Pareto前沿，实现了更优的准确率-鲁棒性权衡。
• 在CIFAR-10上，CARL分类器对30%的自然输入选择拒识，仅导致1.8%的错误预测，表明其具备强大的不确定性感知能力。
• CARL训练的模型对纯噪声输入也选择拒识，表明其减少了过度自信，对分布偏移具有更强的鲁棒性。
• 训练期间代理损失函数的选择（ℓ_abstain与ℓ_interp）对最终误差率影响极小，表明对损失函数选择具有鲁棒性。
• 该方法通过避免测试阶段计算至决策边界的距离，实现了高效的推理，优于基线方法。