[论文解读] Undersampling is a Minimax Optimal Robustness Intervention in Nonparametric Classification

Niladri S. Chatterji, Saminul Haque+1 more|arXiv (Cornell University)|May 26, 2022

Face and Expression Recognition被引用 7

一句话总结

该论文证明，在标签偏移和群体-协变量偏移下，欠采样在鲁棒非参数二分类中为极小极大最优，表明模型性能从根本上受限于少数群体样本数量。研究显示，除非存在高分布重叠或额外结构假设，否则任何算法都无法超越欠采样；理论下界证实，这种限制源于少数群体的数据稀缺性。

ABSTRACT

While a broad range of techniques have been proposed to tackle distribution shift, the simple baseline of training on an $ extit{undersampled}$ balanced dataset often achieves close to state-of-the-art-accuracy across several popular benchmarks. This is rather surprising, since undersampling algorithms discard excess majority group data. To understand this phenomenon, we ask if learning is fundamentally constrained by a lack of minority group samples. We prove that this is indeed the case in the setting of nonparametric binary classification. Our results show that in the worst case, an algorithm cannot outperform undersampling unless there is a high degree of overlap between the train and test distributions (which is unlikely to be the case in real-world datasets), or if the algorithm leverages additional structure about the distribution shift. In particular, in the case of label shift we show that there is always an undersampling algorithm that is minimax optimal. In the case of group-covariate shift we show that there is an undersampling algorithm that is minimax optimal when the overlap between the group distributions is small. We also perform an experimental case study on a label shift dataset and find that in line with our theory, the test accuracy of robust neural network classifiers is constrained by the number of minority samples.

研究动机与目标

• 探究为何尽管丢弃数据，欠采样在分布偏移设置中仍常能达到最先进鲁棒性。
• 确定鲁棒学习算法的性能是否从根本上受限于少数群体样本数量。
• 在标签偏移和群体-协变量偏移下，建立欠采样在非参数二分类中的极小极大最优性。
• 推导仅依赖于少数群体样本数 $n_{\mathsf{min}}$ 的极小极大过剩风险理论下界。
• 在标签偏移数据集上实验验证理论，表明测试准确率受少数群体样本数量的约束。

提出的方法

• 分析在标签偏移和群体-协变量偏移下具有利普希茨连续类条件密度的非参数二分类问题。
• 推导仅依赖于少数群体样本数 $n_{\mathsf{min}}$ 的过剩风险极小极大下界，揭示性能的根本限制。
• 证明当训练与测试分布重叠较低时，欠采样在标签偏移中达到极小极大最优。
• 基于VC维的分析方法，对任意可测分类器的风险进行上界估计，结合Massart噪声边界 $h$ 和分布复杂度 $V$。
• 在类不平衡的修改版CIFAR10数据集上，对欠采样模型进行实验评估，与VS损失、倾斜损失和Group-DRO方法比较。
• 使用ResNet-50架构，通过SGD训练800个周期，超参数从先前工作调优获得。

实验结果

研究问题

• RQ1 在分布偏移设置中，鲁棒学习算法的性能是否从根本上受限于少数群体样本数量？
• RQ2 在无额外结构假设下，是否存在算法可在标签偏移中超越欠采样？
• RQ3 在非参数分类中，欠采样在何种条件下为极小极大最优？
• RQ4 在分布偏移存在下，极小极大过剩风险如何随少数群体样本数 $n_{\mathsf{min}}$ 变化？
• RQ5 基准数据集上的实验性能在多大程度上反映了由极小极大分析导出的理论极限？

主要发现

• 在标签偏移中，极小极大过剩风险的下界与 $1/n_{\mathsf{min}}^{1/2}$ 成比例，证明性能从根本上受限于少数群体样本数量。
• 当训练与测试分布重叠较低时，欠采样在标签偏移中为极小极大最优，意味着无其他算法可实现更优的最坏情况性能。
• 在群体-协变量偏移中，当群体分布重叠较小时，欠采样为极小极大最优，表明在结构假设下具有鲁棒性。
• 在CelebA数据集上，欠采样实现85.6%的最差群体准确率，与最佳方法（gDRO）相差仅1.3个百分点，尽管丢弃了97%的训练数据。
• 在MultiNLI数据集上，欠采样实现68.9%的最差群体准确率，略低于最佳方法（gDRO）的78.0%，但仍相差9.1个百分点。
• 实验结果证实，鲁棒神经网络的最差群体准确率受少数群体样本数量的约束，验证了理论下界。