[论文解读] The Limitations of Model Uncertainty in Adversarial Settings

Kathrin Grosse, David Pfaff+2 more|arXiv (Cornell University)|Dec 6, 2018

Adversarial Robustness in Machine Learning参考文献 16被引用 24

一句话总结

本文提出了一种生成对抗样本的方法，使模型在贝叶斯模型中表现出高置信度和低不确定性，证明了此类不确定性度量在检测对抗输入方面不可靠。通过使用高斯过程分类器作为替代模型，作者构建了高置信度、低不确定性（HCLU）样本，这些样本在视觉上与良性输入相似，却会导致贝叶斯神经网络误分类，揭示了将不确定性用作防御机制的关键局限性。

ABSTRACT

Machine learning models are vulnerable to adversarial examples: minor perturbations to input samples intended to deliberately cause misclassification. While an obvious security threat, adversarial examples yield as well insights about the applied model itself. We investigate adversarial examples in the context of Bayesian neural network's (BNN's) uncertainty measures. As these measures are highly non-smooth, we use a smooth Gaussian process classifier (GPC) as substitute. We show that both confidence and uncertainty can be unsuspicious even if the output is wrong. Intriguingly, we find subtle differences in the features influencing uncertainty and confidence for most tasks.

研究动机与目标

• 调查贝叶斯不确定性度量是否能可靠地检测机器学习模型中的对抗样本。
• 开发一种生成对抗样本的方法，使其保持高置信度和低不确定性，从而规避基于不确定性的检测。
• 评估此类对抗样本在不同模型（包括GPC、DNN和BNN）之间的可迁移性。
• 比较贝叶斯模型中影响置信度和不确定性的特征，识别潜在差异。
• 挑战高不确定性表示对抗样本的假设，表明相反情况也可能发生。

提出的方法

• 作者通过优化最小L2扰动，同时满足高置信度（>0.95）和低不确定性（≤原始值）的条件，定义了一类新型对抗样本——高置信度、低不确定性（HCLU）。
• 由于贝叶斯神经网络（BNN）不确定性具有非光滑特性，采用平滑的高斯过程分类器（GPC）作为替代模型来求解优化问题。
• 攻击通过Python中的L-BFGS-B优化算法实现，并利用对抗鲁棒性工具箱以确保可复现性。
• 该方法应用于垃圾邮件、MNIST和Fashion-MNIST数据集，聚焦于小规模数据的二分类任务，以确保GPC的可扩展性。
• 通过在GPC、DNN和BNN模型上测试HCLU样本，评估攻击的可迁移性，以检验其鲁棒性和泛化能力。
• 通过在25个区间的直方图分箱方法分析贝叶斯置信度和不确定性，比较正确分类与错误分类样本的表现。

实验结果

研究问题

• RQ1 能否构造出保持高置信度和低不确定性的对抗样本，从而规避贝叶斯不确定性度量的检测？
• RQ2 贝叶斯模型（如BNN）是否会在低不确定性与高置信度的情况下错误分类HCLU样本？
• RQ3 贝叶斯模型中影响置信度和不确定性的特征有何不同？
• RQ4 HCLU对抗样本在不同模型（包括非贝叶斯DNN）之间的可迁移性如何？
• RQ5 与良性数据、标准对抗攻击（如Carlini & Wagner）相比，HCLU样本在不确定性与置信度行为上存在何种差异？

主要发现

• 成功生成了具有最小L2扰动的HCLU对抗样本，在GPC替代模型上实现了100%的成功率。
• 在垃圾邮件数据集上，HCLU扰动的平均L2范数为0.008 ± 0.006；在Fashion-MNIST（1 vs. 9）上为0.194 ± 0.036。
• BNN对HCLU样本表现出高置信度（平均置信度~0.948）和低不确定性，与预期相反，即对抗样本应伴随不确定性上升。
• 对于HCLU样本，BNN在误分类样本上表现出低不确定性，而在正确分类样本上表现出低置信度，这与标准对抗攻击中的典型模式相反。
• HCLU样本的可迁移性很高：所有模型在HCLU输入上均出现显著准确率下降，其中MNIST 3 vs. 8的DNN和Fashion-MNIST 5 vs. 7的模型表现出略高的鲁棒性。
• 研究发现贝叶斯模型中影响置信度和不确定性的特征存在细微差异，表明这两种度量并非完全一致，因此无法作为可靠的防御手段。