[论文解读] WAT: Improve the Worst-class Robustness in Adversarial Training

Boqi Li, Weiwei Liu|arXiv (Cornell University)|Feb 8, 2023

Adversarial Robustness in Machine Learning被引用 4

一句话总结

本文提出WAT，一种新颖的最差类别对抗训练框架，利用无后悔动态优化最脆弱类别的鲁棒性，在仅轻微牺牲平均鲁棒准确率的前提下，显著提升了最差类别鲁棒准确率。该方法在CIFAR-10和ImageNet-100上对多种攻击均优于当前最先进基线模型，新提出的度量指标（$\rho$）展现出在平均性能与最差类别性能之间更优的权衡平衡。

ABSTRACT

Deep Neural Networks (DNN) have been shown to be vulnerable to adversarial examples. Adversarial training (AT) is a popular and effective strategy to defend against adversarial attacks. Recent works (Benz et al., 2020; Xu et al., 2021; Tian et al., 2021) have shown that a robust model well-trained by AT exhibits a remarkable robustness disparity among classes, and propose various methods to obtain consistent robust accuracy across classes. Unfortunately, these methods sacrifice a good deal of the average robust accuracy. Accordingly, this paper proposes a novel framework of worst-class adversarial training and leverages no-regret dynamics to solve this problem. Our goal is to obtain a classifier with great performance on worst-class and sacrifice just a little average robust accuracy at the same time. We then rigorously analyze the theoretical properties of our proposed algorithm, and the generalization error bound in terms of the worst-class robust risk. Furthermore, we propose a measurement to evaluate the proposed method in terms of both the average and worst-class accuracies. Experiments on various datasets and networks show that our proposed method outperforms the state-of-the-art approaches.

研究动机与目标

• 为解决对抗训练中的鲁棒性差异问题，即某些类别在整体鲁棒性较强的情况下仍极度脆弱。
• 开发一种方法，在不显著降低平均鲁棒准确率的前提下提升最差类别鲁棒准确率。
• 基于Rademacher复杂度，为最差类别鲁棒风险提供理论保证。
• 提出一种新评估指标（$\rho$），用于量化平均与最差类别鲁棒准确率之间的平衡。
• 在多种数据集和网络架构上，实证验证该方法在最差类别与平均鲁棒性方面的优越性。

提出的方法

• 提出一种最小-最大学习范式，在对抗训练过程中显式优化最差类别鲁棒风险。
• 采用无后悔动态求解最小-最大优化问题，确保收敛性与稳定性。
• 引入超参数$\eta$以控制最差类别与平均鲁棒准确率之间的权衡。
• 使用改进的对抗训练目标，突出最脆弱类别的损失。
• 基于Rademacher复杂度，应用泛化误差界分析以支持理论鲁棒性。
• 提出新评估指标$\rho$，用于量化平均与最差类别鲁棒准确率之间的平衡。

实验结果

研究问题

• RQ1 对抗训练能否被重构，以优先关注表现最差的类别，同时不牺牲整体鲁棒性？
• RQ2 如何设计一种稳定且收敛的优化方法，以最小化最差类别鲁棒风险？
• RQ3 对抗训练中，最差类别鲁棒风险的理论泛化误差界是什么？
• RQ4 如何定义一种平衡的评估指标，以同时反映平均与最差类别鲁棒准确率？
• RQ5 所提出的方法是否在多种数据集与模型上，均优于现有方法，在最差类别与平均鲁棒性方面表现更优？

主要发现

• 在ResNet-18上的CIFAR-10数据集上，WAT在PGD-100攻击下实现69.5%的最差类别鲁棒准确率，在CW攻击下实现33.3%，优于TRADES及其他基线模型。
• 当$\eta = 0.1$时，WAT在$\rho_{cw}$指标上达到最高值0.326，表明其在平均与最差类别鲁棒准确率之间实现了最佳平衡。
• 在WideResNet-34-10上，WAT在三种攻击（PGD-100、CW、AutoAttack）下均取得最高最差类别鲁棒准确率，较基线模型至少提升1.3%。
• 所提出的$\rho$指标作为平衡评估度量优于$CV_{cw}$，因其同时考虑了平均与最差类别性能。
• 按类别分析鲁棒准确率的结果表明，与TRADES和CSL相比，WAT显著提升了最脆弱类别（如类别4、类别5）的性能。
• 参数分析显示，$\eta = 0.1$在$\rho_{nat}$与$\rho_{cw}$上表现最佳，而$\eta = 0.5$在$\rho_{pgd}$与$\rho_{AA}$上达到最高值，表明该方法对攻击类型具有敏感性。