[论文解读] SmoothMix: Training Confidence-calibrated Smoothed Classifiers for Certified Robustness

Jongheon Jeong, Sejun Park+4 more|arXiv (Cornell University)|Nov 17, 2021

Adversarial Robustness in Machine Learning被引用 13

一句话总结

SmoothMix 提出了一种针对平滑分类器的新型对抗训练方法，通过沿对抗方向进行自混合（self-mixup）来校准过度自信的近离类预测，从而提升认证的 $ε$-鲁棒性。通过使用混合损失将预测正则化为均匀分布，该方法在不施加显式范数约束的情况下增强了鲁棒性，在 MNIST、CIFAR-10 和 ImageNet 基准测试中实现了最先进（SOTA）的认证准确率。

ABSTRACT

Randomized smoothing is currently a state-of-the-art method to construct a certifiably robust classifier from neural networks against $\ell_2$-adversarial perturbations. Under the paradigm, the robustness of a classifier is aligned with the prediction confidence, i.e., the higher confidence from a smoothed classifier implies the better robustness. This motivates us to rethink the fundamental trade-off between accuracy and robustness in terms of calibrating confidences of a smoothed classifier. In this paper, we propose a simple training scheme, coined SmoothMix, to control the robustness of smoothed classifiers via self-mixup: it trains on convex combinations of samples along the direction of adversarial perturbation for each input. The proposed procedure effectively identifies over-confident, near off-class samples as a cause of limited robustness in case of smoothed classifiers, and offers an intuitive way to adaptively set a new decision boundary between these samples for better robustness. Our experimental results demonstrate that the proposed method can significantly improve the certified $\ell_2$-robustness of smoothed classifiers compared to existing state-of-the-art robust training methods.

研究动机与目标

• 通过改进置信度校准，解决平滑分类器中准确率与认证鲁棒性之间的权衡问题。
• 识别并缓解过度自信的近离类样本对鲁棒性的负面影响。
• 开发一种无需依赖对抗样本上显式范数约束的训练方案，以增强鲁棒性。
• 提出一种方法，通过沿对抗方向进行混合，自适应地重新定义决策边界。
• 与现有的随机平滑鲁棒训练方法相比，实现更高的认证鲁棒性。

提出的方法

• SmoothMix 引入了一种自混合训练方案，通过对抗扰动方向生成输入的凸组合。
• 它对近离类样本上过度自信的预测应用混合损失，使其向均匀分布正则化，从而改善置信度校准。
• 该方法不对对抗样本施加显式的 $ε$-范数约束，从而允许在更远距离的离类样本上进行训练。
• 它利用平滑分类器的局部平滑性，在原始数据分布之外建立置信度校准机制。
• 该方法被集成到随机平滑所用基础分类器的训练中，增强了最终平滑分类器的认证鲁棒性。
• 该方法在多个数据集（MNIST、CIFAR-10、ImageNet）上，针对不同噪声水平和超参数进行了评估。

实验结果

研究问题

• RQ1 过度自信的近离类样本如何降低平滑分类器的认证鲁棒性？
• RQ2 沿对抗方向进行自混合是否能有效校准预测置信度以提升鲁棒性？
• RQ3 若不对对抗样本施加显式范数约束，是否仍能获得优于标准对抗训练的鲁棒性？
• RQ4 通过混合实现的置信度校准是否能在不牺牲干净准确率的前提下提升认证准确率？
• RQ5 SmoothMix 与当前最先进方法（如 SmoothAdv 和一致性训练）相比，在认证鲁棒性方面表现如何？

主要发现

• 在 CIFAR-10 上，当 $σ=1.0$ 时，SmoothMix 在 $ε=1.5$ 处实现了 43% 的认证测试准确率，优于 SmoothAdv（38%）和基线高斯方法（37%）。
• 在 ImageNet 上，当 $σ=1.0$ 时，SmoothMix 在 $ε=3.0$ 处实现了 30% 的认证准确率，超过 SmoothAdv（30%）和基线（26%）。
• 在 MNIST 上，当 $σ=1.0$ 时，SmoothMix 在 $ε=1.5$ 处实现了 64.1% 的认证准确率，超过高斯基线（59.6%）和 SmoothAdv（63.7%）。
• 消融实验表明，将噪声样本数 $m$ 从 1 增加到 4 可提升认证准确率，其中 $m=4$ 表现最佳。
• 该方法在所有数据集上均保持或提升了 ACR（平均置信半径），表明置信度校准更优。
• 在所有测试的 $ε$ 值下，SmoothMix 在 ImageNet 上的认证准确率均优于所有基线方法，其 ACR 为 1.047，优于 SmoothAdv 的 1.040。