[论文解读] When is invariance useful in an Out-of-Distribution Generalization problem ?

Masanori Koyama, Shoichiro Yamaguchi|arXiv (Cornell University)|Aug 4, 2020

Domain Adaptation and Few-Shot Learning参考文献 50被引用 30

一句话总结

本文提出一个可控性条件，在该条件下 OOD 泛化可以被表述为寻找一个不变量预测器，并提出 Maximal Invariant Predictor (MIP) 与 Inter-environment Gradient Alignment (IGA)，以及在基于 MNIST 的基准上进行的实验。

ABSTRACT

The goal of Out-of-Distribution (OOD) generalization problem is to train a predictor that generalizes on all environments. Popular approaches in this field use the hypothesis that such a predictor shall be an extit{invariant predictor} that captures the mechanism that remains constant across environments. While these approaches have been experimentally successful in various case studies, there is still much room for the theoretical validation of this hypothesis. This paper presents a new set of theoretical conditions necessary for an invariant predictor to achieve the OOD optimality. Our theory not only applies to non-linear cases, but also generalizes the necessary condition used in \citet{rojas2018invariant}. We also derive Inter Gradient Alignment algorithm from our theory and demonstrate its competitiveness on MNIST-derived benchmark datasets as well as on two of the three extit{Invariance Unit Tests} proposed by \citet{aubinlinear}.

研究动机与目标

• 激发 OOD 泛化问题并批评仅依赖不变性的方法。
• Formalize a controllability condition under which an invariant predictor yields OOD-optimality.
• Extend invariance theory to nonlinear settings beyond fixed causal variable subsets.
• Introduce a practical algorithm (IGA) inspired by MIP to learn invariant predictors.
• Empirically validate the approach on MNIST-derived benchmarks and invariance unit tests.

提出的方法

• 定义满足 P(Y|h(X),E)=P(Y|h(X)) 的不变量特征 h(X)。
• 提出可控性条件：对于所有 E 在 supp(E) 中，存在一个修改后的环境，使 P(Y|X,~E)=P(Y|h(X),~E)。
• 证明如果存在这样的 h，E[Y|h(X)] 能解决 OOD 问题。
• 引入 Maximal Invariant Predictor (MIP) 作为信息论目标：在不变性约束下最大化 I(Y;h(X))。
• 通过一个任务通用参数 theta，以及受环境条件影响的更新（受 MAML 启发），对 P(Y|h(X),E) 在不同环境中进行参数化。
• 推导 Inter-environment Gradient Alignment (IGA) 目标，使跨环境的梯度对齐以强制不变量性（近似到 O(alpha^2) 项）。
• 讨论使用一组环境进行训练，而无需知道它们的身份，并将 IGA 与在非线性设置下的 IRM 联系起来。）

实验结果

研究问题

• RQ1 在何种理论条件下，OOD 泛化问题可以被重新表述为不变量性问题？
• RQ2 在因果子结构不是观测变量固定子集的非线性设定中，不变量预测器能否解决 OOD 目标？
• RQ3 如何在没有显式因果图的情况下，构建一个实用目标（MIP）和一个算法（IGA）来学习此类预测器？
• RQ4 像 IGA 这样的不变量学习方法在超出线性模型的基准任务上是否达到具有竞争力的 OOD 性能？

主要发现

• 给出一个可控性条件，保证不变量预测器即使在非线性模型中也能达到 OOD 最优。
• 提出一个 Maximal Invariant Predictor (MIP) 目标，将不变量性与信息最大化目标联系起来。
• 推导出一个 Inter-environment Gradient Alignment (IGA) 算法，在没有显式因果结构的情况下，在 MIP 框架下训练模型。
• IGA 对齐环境特定的梯度，提供一种与不变量风险最小化（IRM）密切相关但可应用于非线性设置的实用方法。
• 实证结果显示，IGA 在不变量性单元测试和 Colored MNIST 基准上相对于 ERM 与 IRM 具有竞争力的性能。