[论文解读] Predicting Adversarial Examples with High Confidence

Angus Galloway, Graham W. Taylor+1 more|arXiv (Cornell University)|Feb 13, 2018

Adversarial Robustness in Machine Learning参考文献 28被引用 4

一句话总结

本文主张，过于自信的深度学习模型更容易受到对抗样本的影响，提出通过强正则化——尤其是低精度表示——可减少未探索的表示空间，从而提升模型鲁棒性。实验表明，低精度模型（如1-bit权重）在无需数据增强的情况下，仍能保持较高的自然准确率，并比全精度模型更好地抵御对抗攻击，为无需数据增强的防御方法提供了新路径。

ABSTRACT

It has been suggested that adversarial examples cause deep learning models to make incorrect predictions with high confidence. In this work, we take the opposite stance: an overly confident model is more likely to be vulnerable to adversarial examples. This work is one of the most proactive approaches taken to date, as we link robustness with non-calibrated model confidence on noisy images, providing a data-augmentation-free path forward. The adversarial examples phenomenon is most easily explained by the trend of increasing non-regularized model capacity, while the diversity and number of samples in common datasets has remained flat. Test accuracy has incorrectly been associated with true generalization performance, ignoring that training and test splits are often extremely similar in terms of the overall representation space. The transferability property of adversarial examples was previously used as evidence against overfitting arguments, a perceived random effect, but overfitting is not always random.

研究动机与目标

• 挑战‘高置信度预测意味着鲁棒性’的假设，主张过度自信与对抗脆弱性相关。
• 探究通过低精度表示进行正则化是否能在不使用数据增强的情况下提升鲁棒性。
• 比较低精度表示与传统正则化方法（如权重衰减）在降低模型脆弱性方面的有效性。
• 在不依赖非泛化方法（如RBF网络）的前提下，防御‘欺骗性图像’（例如随机噪声）。
• 证明更小、经过良好正则化的模型可在保持高自然准确率的同时，对对抗扰动更具鲁棒性。

提出的方法

• 作者训练了不同精度水平的ResNet-18模型，包括权重（W）、激活（A）和梯度（G）的1-bit、2-bit、3-bit和全32-bit精度。
• 在ImageNet和CIFAR-10数据集上，使用FGSM攻击并逐步增加扰动大小（ε = 2, 4, 8），测量top-1和top-5错误率以评估鲁棒性。
• 研究将低精度模型与全精度模型及强L2权重衰减模型进行对比，重点关注干净测试准确率和对抗鲁棒性。
• 实验未使用数据增强，以隔离模型容量与正则化的影响。
• 通过分析决策边界的几何结构以及未探索表示空间的熵，解释鲁棒性差异。
• 利用低精度模型防御‘垃圾类别’样本（如随机噪声），避免依赖RBF网络等非泛化架构。

实验结果

研究问题

• RQ1 降低模型精度是否能在不使用数据增强的情况下提升对对抗样本的鲁棒性？
• RQ2 即使在无随机噪声的情况下，深度模型的对抗脆弱性是否仍与过度自信和过拟合相关？
• RQ3 低精度表示与传统正则化方法（如权重衰减）相比，在提升对抗鲁棒性方面有何差异？
• RQ4 低精度模型能否在不依赖非泛化架构的前提下，防御非样本输入（如随机噪声）？
• RQ5 通过低精度实现强正则化是否能以减少未探索表示空间的方式增强鲁棒性？

主要发现

• 低精度模型（如1-bit权重）在对抗攻击下表现出更高的自然测试准确率，例如在ε=8的FGSM攻击下，ImageNet上的top-1错误率仅为59.6%。
• 当权重精度降至1-bit而激活精度保持2-bit时，ε=8 FGSM攻击下的top-1错误率从59.6%降至50.2%，表明鲁棒性显著提升。
• 1-bit权重与1-bit激活的模型在ImageNet上保持了96.8%的干净top-1准确率，而在ε=8 FGSM攻击下仅出现98.4%的错误率，表明其具备极强的鲁棒性。
• 研究发现，全精度模型对强权重衰减极为脆弱，当L2衰减增加两个数量级时，测试准确率降至30%以下。
• 即使不使用数据增强，低精度模型也表现出更好的鲁棒性，优于相同威胁模型下的最先进模型。
• 结果表明，低精度表示可减少未探索的表示空间，并提升未探索区域的熵，使对抗样本更难成功。