[论文解读] Selective Classification Can Magnify Disparities Across Groups

Erik Jones, Shiori Sagawa+3 more|arXiv (Cornell University)|Oct 27, 2020

Machine Learning and Data Classification参考文献 61被引用 5

一句话总结

本文表明，选择性分类（即模型在不确定时拒绝预测）可能加剧不同人口群体之间的准确率差异，尤其是在存在虚假相关性时。作者指出，选择性分类通常会使表现本已较差的群体性能进一步恶化，并提出通过训练分布鲁棒模型来缓解此问题。

ABSTRACT

Selective classification, in which models can abstain on uncertain predictions, is a natural approach to improving accuracy in settings where errors are costly but abstentions are manageable. In this paper, we find that while selective classification can improve average accuracies, it can simultaneously magnify existing accuracy disparities between various groups within a population, especially in the presence of spurious correlations. We observe this behavior consistently across five vision and NLP datasets. Surprisingly, increasing abstentions can even decrease accuracies on some groups. To better understand this phenomenon, we study the margin distribution, which captures the model's confidences over all predictions. For symmetric margin distributions, we prove that whether selective classification monotonically improves or worsens accuracy is fully determined by the accuracy at full coverage (i.e., without any abstentions) and whether the distribution satisfies a property we call left-log-concavity. Our analysis also shows that selective classification tends to magnify full-coverage accuracy disparities. Motivated by our analysis, we train distributionally-robust models that achieve similar full-coverage accuracies across groups and show that selective classification uniformly improves each group on these models. Altogether, our results suggest that selective classification should be used with care and underscore the importance of training models to perform equally well across groups at full coverage.

研究动机与目标

• 调查选择性分类在提升平均准确率的同时，是否会加剧不同人口群体之间的准确率差异。
• 利用模型置信度的置信度分布分析此类差异的根本原因。
• 确定选择性分类对不同群体的准确率单调提升或恶化的情形。
• 提出一种基于分布鲁棒优化（DRO）的缓解策略，以实现在全覆盖率下各群体间准确率的平衡。
• 证明在全覆盖率下消除差异，可防止选择性分类放大群体层面的差异。

提出的方法

• 将置信度分布定义为模型在正确和错误预测上的置信度分数的分布。
• 引入左对数凹性（left-log-concavity）概念，以表征选择性分类对某一群体准确率的改善或恶化情况。
• 证明对于对称的置信度分布，选择性分类下准确率提升的单调性完全取决于全覆盖率准确率和左对数凹性。
• 使用高斯混合置信度分布的模拟实验，评估其相对于群体无关基线的性能表现。
• 训练分布鲁棒模型（DRO），以在全覆盖率下优化最差群体的准确率，随后应用选择性分类。
• 在五个视觉与自然语言处理数据集上，比较标准模型与DRO模型在选择性分类下的表现。

实验结果

研究问题

• RQ1 选择性分类是否对所有群体均匀提升准确率，还是可能使表现较差群体的性能恶化？
• RQ2 在何种条件下，选择性分类会单调提升或降低某一群体的准确率？
• RQ3 置信度分布的形状——尤其是左对数凹性——如何影响选择性分类对群体准确率的影响？
• RQ4 通过训练模型使各群体在全覆盖率下的准确率相近，能否缓解选择性分类带来的差异？
• RQ5 选择性分类在多大程度上会放大群体之间原本存在的准确率差异？

主要发现

• 即使提高拒绝率，选择性分类仍可能使原本全覆盖率准确率较低的群体准确率进一步恶化。
• 在CheXpert数据集变体中，受虚假相关性（如胸腔引流管）影响训练的模型，会错误预测无支持装置但存在胸腔积液的患者——这是临床上至关重要的误判案例。
• 当置信度分布呈现左对数凹性时，选择性分类单调提升准确率；否则可能使其恶化。
• 对于对称的置信度分布，准确率提升的单调性完全由全覆盖率准确率和左对数凹性决定。
• 选择性分类往往会放大全覆盖率下已存在的准确率差异。
• 通过分布鲁棒优化（DRO）训练，使各群体在全覆盖率下的准确率相等，可使选择性分类对所有群体均单调提升准确率，从而消除差异放大现象。