[论文解读] Out-of-distribution Prediction with Invariant Risk Minimization: The Limitation and An Effective Fix

Ruocheng Guo, Pengchuan Zhang+2 more|arXiv (Cornell University)|Jan 16, 2021

Domain Adaptation and Few-Shot Learning参考文献 35被引用 16

一句话总结

该论文识别出不变风险最小化（IRM）在分布外（OOD）泛化中的一个关键局限：当虚假相关性（例如，颜色与领域）强于不变相关性（例如，形状与类别）时，深度神经网络（DNNs）可能学习到非重叠的、领域特定的表征，从而规避IRM的正则化，导致OOD性能不佳。为解决此问题，作者提出将IRM与条件分布匹配（CDM）结合，强制同一类别在不同领域间具有重叠的表征，显著提升了在新半合成数据集CMNIST+上的OOD准确率，尤其在强三角虚假相关性下表现突出。

ABSTRACT

This work considers the out-of-distribution (OOD) prediction problem where (1)~the training data are from multiple domains and (2)~the test domain is unseen in the training. DNNs fail in OOD prediction because they are prone to pick up spurious correlations. Recently, Invariant Risk Minimization (IRM) is proposed to address this issue. Its effectiveness has been demonstrated in the colored MNIST experiment. Nevertheless, we find that the performance of IRM can be dramatically degraded under \emph{strong $Λ$ spuriousness} -- when the spurious correlation between the spurious features and the class label is strong due to the strong causal influence of their common cause, the domain label, on both of them (see Fig. 1). In this work, we try to answer the questions: why does IRM fail in the aforementioned setting? Why does IRM work for the original colored MNIST dataset? How can we fix this problem of IRM? Then, we propose a simple and effective approach to fix the problem of IRM. We combine IRM with conditional distribution matching to avoid a specific type of spurious correlation under strong $Λ$ spuriousness. Empirically, we design a series of semi synthetic datasets -- the colored MNIST plus, which exposes the problems of IRM and demonstrates the efficacy of the proposed method.

研究动机与目标

• 调查当虚假相关性强于不变相关性时，IRM在OOD泛化中为何失效。
• 揭示IRM在学习非重叠表征以规避其正则化方面的局限性。
• 提出一种结合IRM与条件分布匹配（CDM）的方法，以在不同领域间强制实现重叠且不变的表征。
• 在新设计的半合成数据集（CMNIST+）上验证所提方法，该数据集旨在诱导强三角虚假相关性。
• 证明CDM单独不足以解决问题，但CDM与IRM结合可显著提升OOD性能。

提出的方法

• 作者引入CMNIST+，一个半合成数据集，其中虚假特征（颜色）、领域与类别之间的相关性强于不变特征（形状）与类别之间的相关性。
• 通过添加CDM正则化项扩展IRM，以促使同一类别在不同领域中的表征分布趋于相似。
• CDM正则化项通过一个判别器网络实现，该网络从特征和类别标签中预测领域标签，并最小化预测领域概率与真实领域概率之间的KL散度。
• 联合损失通过交替最小化-最大化的优化过程进行：在最小化IRM损失的同时，通过判别器最大化CDM损失。
• 评估了两种变体：IRM-MMD（使用多核MMD）和IRM-ACDM（使用MLP判别器），两者均采用IRM与CDM的联合正则化。
• 在CMNIST+上，针对不同水平的三角虚假相关性（ρ ∈ {0.8, 0.85, 0.9}）与ERM、IRM、EIIL及Oracle基线方法进行比较。

实验结果

研究问题

• RQ1 当虚假相关性强于不变相关性时，IRM为何在OOD预测中失效？
• RQ2 DNN是否能学习到非重叠的、领域特定的表征，以在最小化经验风险的同时规避IRM正则化？
• RQ3 将IRM与条件分布匹配（CDM）结合，能否缓解IRM在强三角虚假相关性下的失效问题？
• RQ4 CDM单独是否足以解决此设定下的OOD泛化问题，还是IRM必不可少？
• RQ5 在训练过程中显式引入领域标签，相较于通过隐式方式推断软领域标签的方法，对学习不变特征有何影响？

主要发现

• 在强三角虚假相关性（ρ > 0.75）下，IRM性能显著下降，在CMNIST+上ρ = 0.85时测试准确率降至58.47%。
• IRM-ACDM在ρ = 0.8时达到70.15%的测试准确率，较IRM（58.00%）提升12%，证明CDM与IRM结合的有效性。
• IRM-MMD在ρ = 0.8时达到67.08%的准确率，较IRM提升9%，证实CDM增强了IRM的鲁棒性。
• CDM单独（ACDM或MMD）无法实现高OOD准确率，ACDM在ρ = 0.8时仅达30.41%，表明CDM在无IRM时不足以解决问题。
• EIIL（学习软领域标签）表现劣于IRM，表明显式领域监督在学习不变表征方面优于隐式领域建模。
• Oracle模型（使用灰度图像并避免虚假特征）在ρ = 0.85时达到73.49%的准确率，表明所提方法（70.15%）已接近最优性能。