[论文解读] When Does Group Invariant Learning Survive Spurious Correlations?

Yimeng Chen, Ruibin Xiong+2 more|arXiv (Cornell University)|Jun 29, 2022

Anomaly Detection Techniques and Applications被引用 4

一句话总结

该论文指出了现有组不变学习（group-IL）方法在虚假相关性分布偏移下泛化能力不足的根本缺陷，其根源在于组构建方式不当。为此，本文提出SCILL这一新方法，通过统计独立性检验基于虚假特征构建分层结构，并依据组内标签比例对样本进行重加权，实现了可证明的无虚假相关性泛化，且在合成数据与真实世界基准上均优于现有方法。

ABSTRACT

By inferring latent groups in the training data, recent works introduce invariant learning to the case where environment annotations are unavailable. Typically, learning group invariance under a majority/minority split is empirically shown to be effective in improving out-of-distribution generalization on many datasets. However, theoretical guarantee for these methods on learning invariant mechanisms is lacking. In this paper, we reveal the insufficiency of existing group invariant learning methods in preventing classifiers from depending on spurious correlations in the training set. Specifically, we propose two criteria on judging such sufficiency. Theoretically and empirically, we show that existing methods can violate both criteria and thus fail in generalizing to spurious correlation shifts. Motivated by this, we design a new group invariant learning method, which constructs groups with statistical independence tests, and reweights samples by group label proportion to meet the criteria. Experiments on both synthetic and real data demonstrate that the new method significantly outperforms existing group invariant learning methods in generalizing to spurious correlation shifts.

研究动机与目标

• 识别为何现有group-IL方法在虚假相关性分布偏移下仍会失效，尽管其在实证中表现成功。
• 形式化group-IL成功学习不变、无虚假相关性表征所需的假设与理论条件。
• 设计一种满足理论标准的新group-IL方法，以实现对虚假相关性的鲁棒性。
• 通过实证验证所提方法在合成数据与真实世界数据上相较于现有group-IL方法的优越性。

提出的方法

• 通过参考预测器的分层构建组，该预测器编码了虚假相关性，并利用统计独立性检验确保在每组内虚假特征与标签条件独立。
• 基于边缘概率与条件概率之比，在每组内对样本进行重加权，以平衡组内标签分布。
• 在推断出的组上使用不变学习目标进行模型训练，通过惩罚组间预测方差来促进不变性。
• 使用仅基于虚假特征训练的参考模型来定义分层，确保组边界能反映虚假信号的有意义变化。
• 采用损失函数，结合组特定的加权交叉熵与正则化项，以强制实现组间不变性。
• 理论分析证明，在理想条件下，该方法通过满足虚假性暴露与标签平衡标准，可实现无虚假相关性泛化（SFC）。

实验结果

研究问题

• RQ1 在何种条件下，现有group-IL方法在虚假相关性分布偏移下会失效？
• RQ2 group-IL成功学习不变、无虚假相关性表征所需的理论标准是什么？
• RQ3 如何改进组构建方式，以确保充分暴露虚假相关性并实现标签分布平衡？
• RQ4 能否设计一种新group-IL方法，使其可证明地满足对虚假相关性的鲁棒性理论标准？
• RQ5 所提方法在虚假相关性分布偏移下的分布外泛化性能，与现有group-IL方法相比如何？

主要发现

• 现有group-IL方法（如使用多数/少数样本划分的方法）违反了虚假性暴露与标签平衡标准，尤其在虚假特征为多变量时更为明显。
• 所提SCILL方法通过统计独立性检验构建组并按组内标签比例重加权样本，满足了两项理论标准。
• 在合成基准上，SCILL在分布外准确率上显著优于现有group-IL方法，尤其在多变量虚假相关性偏移下表现更优。
• 真实世界数据集的实证结果表明，SCILL在虚假相关性分布偏移下泛化能力更强，展现出在多种分布偏移下的稳健性能。
• 理论分析表明，当参考模型最优时，SCILL可实现无虚假相关性泛化（SFC），为鲁棒性提供了可证明保证。
• 即使参考模型不完美，该方法仍具有效性，实验证明其在多种实验设置下均保持一致的性能提升。