[论文解读] Robustness May Be at Odds with Fairness: An Empirical Study on Class-wise Accuracy

Philipp Benz, Chaoning Zhang+2 more|arXiv (Cornell University)|Oct 26, 2020

Qualitative Comparative Analysis Research参考文献 52被引用 20

一句话总结

本文研究了对抗性训练模型中类别间的鲁棒性差异，发现即使在数据集平衡的情况下，某些类别（如CIFAR-10中的'cat'）的鲁棒性仍显著较低。研究发现，对抗性训练可能加剧类别间的鲁棒性差异，挑战了鲁棒性提升在各类别间均匀分布的假设。

ABSTRACT

Convolutional neural networks (CNNs) have made significant advancement, however, they are widely known to be vulnerable to adversarial attacks. Adversarial training is the most widely used technique for improving adversarial robustness to strong white-box attacks. Prior works have been evaluating and improving the model average robustness without class-wise evaluation. The average evaluation alone might provide a false sense of robustness. For example, the attacker can focus on attacking the vulnerable class, which can be dangerous, especially, when the vulnerable class is a critical one, such as "human" in autonomous driving. We propose an empirical study on the class-wise accuracy and robustness of adversarially trained models. We find that there exists inter-class discrepancy for accuracy and robustness even when the training dataset has an equal number of samples for each class. For example, in CIFAR10, "cat" is much more vulnerable than other classes. Moreover, this inter-class discrepancy also exists for normally trained models, while adversarial training tends to further increase the discrepancy. Our work aims to investigate the following questions: (a) is the phenomenon of inter-class discrepancy universal regardless of datasets, model architectures and optimization hyper-parameters? (b) If so, what can be possible explanations for the inter-class discrepancy? (c) Can the techniques proposed in the long tail classification be readily extended to adversarial training for addressing the inter-class discrepancy?

研究动机与目标

• 探究类别间鲁棒性与准确率的差异是否在不同数据集、模型架构和超参数下具有普遍性。
• 理解标准模型与对抗性训练模型中类别级鲁棒性差异的根本原因。
• 评估长尾分类技术是否可被适配以减轻对抗性训练中的类别间鲁棒性差异。
• 挑战平均鲁棒性提升即意味着所有类别均获得公平鲁棒性的假设，尤其是在安全关键应用中。

提出的方法

• 在多个数据集（如CIFAR-10、ImageNet-1000）上，通过标准训练和对抗性训练的模型，实证评估类别级准确率与鲁棒性。
• 在标准训练与对抗性训练设置下，使用PGD攻击比较不同类别间的鲁棒性。
• 分析模型架构与优化超参数对类别间鲁棒性差异的影响。
• 将长尾分类技术（如类别重加权与焦点损失）应用于对抗性训练，评估其在减少类别间差异方面的有效性。
• 使用类别级准确率与鲁棒性度量，量化并可视化给定模型中所有类别间的差异。
• 开展消融研究，以隔离对抗性训练对类别间鲁棒性不平衡的影响。

实验结果

研究问题

• RQ1 类别间鲁棒性与准确率的差异是否在不同数据集、模型架构与优化超参数下具有普遍性？
• RQ2 标准模型与对抗性训练模型中类别间鲁棒性差异的根本原因是什么？
• RQ3 长尾分类技术是否可有效扩展至对抗性训练中，以减少类别间鲁棒性差异？
• RQ4 对抗性训练是否均匀提升鲁棒性，还是对某些类别产生不成比例的影响？
• RQ5 在对抗性攻击下，关键类别（如自动驾驶中的'human'）的鲁棒性与其它类别相比如何？

主要发现

• 即使在类别平衡的数据集中，对抗性训练模型仍表现出显著的类别间鲁棒性差异，例如CIFAR-10中的'cat'类别明显更易受攻击。
• 对抗性训练倾向于加剧类别间鲁棒性差异，而非减少，表明整体鲁棒性与类别间公平性之间存在权衡。
• 类别间鲁棒性差异现象在多个数据集（如CIFAR-10、ImageNet-1000）、模型架构与优化超参数下持续存在。
• 标准训练模型也表现出类别间鲁棒性差异，表明该问题并非对抗性训练的唯一产物。
• 长尾分类技术（如类别重加权与焦点损失）在对抗性训练设置中减轻类别间鲁棒性差异方面效果有限。
• 在对抗性攻击下最脆弱的类别不一定是训练样本最少的类别，表明数据不平衡并非鲁棒性差异的唯一驱动因素。