[论文解读] Rethinking Softmax Cross-Entropy Loss for Adversarial Robustness

Tianyu Pang, Kun Xu+4 more|arXiv (Cornell University)|May 25, 2019

Adversarial Robustness in Machine Learning参考文献 72被引用 75

一句话总结

本文提出 Max-Mahalanobis Center (MMC) loss，旨在显式诱导密集、结构良好的特征区域，在不损害干净准确度的前提下提高对抗鲁棒性，并且相较 Softmax Cross-Entropy (SCE) 在收敛速度方面更快，甚至在强适应性攻击下也如此。

ABSTRACT

Previous work shows that adversarially robust generalization requires larger sample complexity, and the same dataset, e.g., CIFAR-10, which enables good standard accuracy may not suffice to train robust models. Since collecting new training data could be costly, we focus on better utilizing the given data by inducing the regions with high sample density in the feature space, which could lead to locally sufficient samples for robust learning. We first formally show that the softmax cross-entropy (SCE) loss and its variants convey inappropriate supervisory signals, which encourage the learned feature points to spread over the space sparsely in training. This inspires us to propose the Max-Mahalanobis center (MMC) loss to explicitly induce dense feature regions in order to benefit robustness. Namely, the MMC loss encourages the model to concentrate on learning ordered and compact representations, which gather around the preset optimal centers for different classes. We empirically demonstrate that applying the MMC loss can significantly improve robustness even under strong adaptive attacks, while keeping state-of-the-art accuracy on clean inputs with little extra computation compared to the SCE loss.

研究动机与目标

• 通过塑造特征分布来实现稳健分类，而不是依赖更多数据，适用于数据有限或固定的训练情形。
• 形式化分析 SCE 及其变体如何影响特征空间的密度，并指出其局限性。
• 提出 MMC 损失以诱导每个类别的高密度、中心化的特征区域。
• 展示 MMC 在不同威胁模型下的鲁棒性收益，同时保持干净准确率和高效训练。

提出的方法

• 在特征空间中定义样本密度，并分析广义 SCE（g-SCE）损失下的密度。
• 表明 SCE 及其变体由于基于 softmax 的监督，导致特征分布稀疏。
• 提出 MMC 损失：L_MMC(Z(x),y) = 1/2 || z - μ_y^* ||^2，使用固定的中心 μ^* 形成 Max-Mahalanobis Distribution (MMD) 以实现类间最佳弥散。
• 计算并利用预设的类中心 μ^*，使中心之间的最小角度最大化（||μ_l^*||_2 = C_MM）。
• 论证 MMC 能在局部特征密度上更高（定理 2），并在不出现退化问题的情况下更好地利用模型容量。
• 在 MNIST、CIFAR-10 和 CIFAR-100 上，对 MMC 与 Center、MMLDA 和 L-GM 损失在有无对抗训练的情况下进行比较。

实验结果

研究问题

• RQ1 基于 SCE 的损失如何塑造在特征空间中学习到的特征密度？
• RQ2 是否通过显式诱导高密度、中心化的特征区域来提高对抗鲁棒性，同时不牺牲干净准确性？
• RQ3 与可训练中心相比，使用固定类中心（μ^*）对鲁棒性和收敛性的影响是什么？
• RQ4 在自适应白盒和黑盒对抗攻击下，MMC 相对于标准损失和先前基于中心的方法的表现如何？

主要发现

• MMC 在固定类中心周围产生更高的局部特征密度，在额外计算有限的情况下提升鲁棒性。
• MMC 在强自适应攻击下实现鲁棒性，同时保持干净准确度与 SCE 基线相当。
• 一个随机采样的中心集合（MMC-10 rand）已经优于若干基线，且最优 μ^* 进一步带来提升。
• MMC 收敛更快，且比需要与 SCE 联合优化的基于中心的损失更好地利用模型容量。
• 与对抗训练结合时，MMC 在与训练攻击不同的攻击下提升鲁棒性。
• 由于中心固定且在训练过程中不漂移，MMC 避免了降级问题。