[论文解读] Spread Spurious Attribute: Improving Worst-group Accuracy with Spurious Attribute Estimation

Junhyun Nam, Jaehyung Kim+2 more|arXiv (Cornell University)|Apr 5, 2022

Machine Learning and Data Classification被引用 11

一句话总结

本文提出了一种名为 Spread Spurious Attribute (SSA) 的方法，通过利用少量带有虚假属性标注的样本，为未标注数据生成伪属性，从而实现对最差群体损失的有效最小化，提升最差群体的准确率。在多个基准测试中，SSA 仅使用 0.6% 至 1.5% 的标注样本，即可达到与全监督方法相当的性能。

ABSTRACT

The paradigm of worst-group loss minimization has shown its promise in avoiding to learn spurious correlations, but requires costly additional supervision on spurious attributes. To resolve this, recent works focus on developing weaker forms of supervision -- e.g., hyperparameters discovered with a small number of validation samples with spurious attribute annotation -- but none of the methods retain comparable performance to methods using full supervision on the spurious attribute. In this paper, instead of searching for weaker supervisions, we ask: Given access to a fixed number of samples with spurious attribute annotations, what is the best achievable worst-group loss if we "fully exploit" them? To this end, we propose a pseudo-attribute-based algorithm, coined Spread Spurious Attribute (SSA), for improving the worst-group accuracy. In particular, we leverage samples both with and without spurious attribute annotations to train a model to predict the spurious attribute, then use the pseudo-attribute predicted by the trained model as supervision on the spurious attribute to train a new robust model having minimal worst-group loss. Our experiments on various benchmark datasets show that our algorithm consistently outperforms the baseline methods using the same number of validation samples with spurious attribute annotations. We also demonstrate that the proposed SSA can achieve comparable performances to methods using full (100%) spurious attribute supervision, by using a much smaller number of annotated samples -- from 0.6% and up to 1.5%, depending on the dataset.

研究动机与目标

• 为解决在最差群体准确率方法中，全监督虚假属性标注带来的高成本问题。
• 在仅能获得有限数量的虚假属性标注样本时，提升最差群体准确率。
• 探索是否可通过充分挖掘已有的标注样本，在极小监督下实现全性能。
• 开发一种在相同标注预算下优于现有弱监督方法的新方法。

提出的方法

• 利用标注样本和未标注样本联合训练虚假属性预测器，为未标注数据集生成伪属性。
• 在伪标签生成过程中应用群体自适应阈值，以缓解对多数群体的偏向。
• 利用生成的伪标签数据集，通过最差群体损失最小化（如 Group DRO）训练鲁棒模型。
• 在鲁棒训练阶段，重新使用原始标注样本进行超参数调优。
• 在伪标签数据上复用现有的鲁棒训练框架（如 Group DRO、Correct-N-Contrast）。
• 确保伪标签生成过程保留少数群体的表示，避免加剧分布偏差。

实验结果

研究问题

• RQ1 我们能否仅使用极小比例的虚假属性标注数据，实现与全监督最差群体学习相当的性能？
• RQ2 在存在虚假相关性的情况下，如何最优地利用有限的标注样本以提升最差群体准确率？
• RQ3 与标准方法相比，采用自适应阈值的伪标签生成是否能显著降低对少数群体估计的偏差？
• RQ4 该方法是否能在具有不同虚假相关性模式的多样化基准数据集上实现良好泛化？

主要发现

• 在多个数据集中，SSA 仅使用 0.6% 至 1.5% 的虚假属性标注样本，即可实现与全监督 Group DRO 相当的最差群体准确率。
• 在 CelebA 数据集上，SSA 仅用 993 个标注样本（总计 182,637 个）即可达到 100% 监督的性能水平。
• 在 MultiNLI 数据集上，SSA 仅用 4,123 个标注样本（总计 288,637 个）即可匹配全监督性能。
• 在相同标注样本数量下，SSA 始终优于基线方法，即使在 5% 的标注预算下也表现优异。
• 当与 Correct-N-Contrast 等其他鲁棒训练技术结合时，该方法仍保持强劲性能。
• 采用群体自适应阈值显著降低了伪标签生成中的偏差，尤其在少数群体上效果更明显。