[论文解读] Simple and Fast Group Robustness by Automatic Feature Reweighting

Shikai Qiu, Andres Potapczynski+2 more|arXiv (Cornell University)|Jun 19, 2023

Machine Learning and Data Classification被引用 4

一句话总结

本文提出自动特征重加权（AFR），一种简单且高效的方法，通过仅使用加权损失函数微调经验风险最小化（ERM）模型的最后几层，来提升机器学习中的群体鲁棒性，该损失函数优先考虑基础模型预测表现较差的样本。AFR在Waterbirds和MultiNLI等视觉与自然语言处理基准上实现了最先进性能，且无需使用虚假属性标签或显著的计算开销。

ABSTRACT

A major challenge to out-of-distribution generalization is reliance on spurious features -- patterns that are predictive of the class label in the training data distribution, but not causally related to the target. Standard methods for reducing the reliance on spurious features typically assume that we know what the spurious feature is, which is rarely true in the real world. Methods that attempt to alleviate this limitation are complex, hard to tune, and lead to a significant computational overhead compared to standard training. In this paper, we propose Automatic Feature Reweighting (AFR), an extremely simple and fast method for updating the model to reduce the reliance on spurious features. AFR retrains the last layer of a standard ERM-trained base model with a weighted loss that emphasizes the examples where the ERM model predicts poorly, automatically upweighting the minority group without group labels. With this simple procedure, we improve upon the best reported results among competing methods trained without spurious attributes on several vision and natural language classification benchmarks, using only a fraction of their compute.

研究动机与目标

• 解决现实世界数据集中因依赖虚假特征而导致的分布外泛化问题。
• 开发一种无需群体标签或复杂训练过程即可提升群体鲁棒性的方法。
• 在保持或提升少数群体性能的同时，降低计算开销。
• 设计一种对超参数选择不敏感且适用于多样化视觉与自然语言处理基准的方法。

提出的方法

• AFR 使用加权损失函数仅微调预训练 ERM 模型的最后几层。
• 样本权重由第一阶段 ERM 检查点中模型对正确类别的预测概率的倒数决定。
• 权重通过类别相关常数进行缩放，以解决类别不平衡问题，形式为 μ_i ∝ β_{y_i} exp(−γ p̂_i)。
• 该加权机制通过提升低置信度预测的权重，自动强调少数群体样本，且无需使用群体标签。
• 该方法在训练分布的保留数据集上应用，避免了对群体注释的需求。
• AFR 计算效率高，仅需基线方法训练时间的一小部分。

实验结果

研究问题

• RQ1 一种简单轻量的方法能否在不访问虚假属性标签的情况下提升群体鲁棒性？
• RQ2 模型不确定性（低预测置信度）能否作为识别并优先处理少数群体样本的代理？
• RQ3 AFR 与需要群体标签或复杂训练过程的最先进方法相比表现如何？
• RQ4 在实际应用中，AFR 对超参数选择的鲁棒性如何？
• RQ5 当仅能获取少量标签用于超参数调优时，AFR 能否超越使用群体标签的方法？

主要发现

• 在不使用训练阶段虚假属性标签的方法中，AFR 在 Waterbirds 基准上实现了最先进最差群体准确率。
• 在 MultiNLI 上，AFR 在无群体标签的群体鲁棒方法中，优于所有已报告的最佳结果。
• 当仅能获取少量群体标签用于超参数调优时，AFR 超过了使用群体标签的最先进方法。
• AFR 对超参数选择具有鲁棒性，通常无需精细调优即可提升群体鲁棒性。
• 神经网络学习到的最优加权函数与 AFR 的指数形式高度相似，验证了其设计选择的合理性。
• AFR 的计算开销可忽略不计，仅需基线方法训练时间的一小部分。