[论文解读] The Risks of Invariant Risk Minimization

Elan Rosenfeld, Pradeep Ravikumar+1 more|arXiv (Cornell University)|Oct 12, 2020

Adversarial Robustness in Machine Learning参考文献 43被引用 73

一句话总结

本文分析不变量风险最小化（IRM）及其非线性变体，表明在线性和非线性设置中，IRM 可能无法优于 ERM，并且在有限环境下可能依赖非不变特征。

ABSTRACT

Invariant Causal Prediction (Peters et al., 2016) is a technique for out-of-distribution generalization which assumes that some aspects of the data distribution vary across the training set but that the underlying causal mechanisms remain constant. Recently, Arjovsky et al. (2019) proposed Invariant Risk Minimization (IRM), an objective based on this idea for learning deep, invariant features of data which are a complex function of latent variables; many alternatives have subsequently been suggested. However, formal guarantees for all of these works are severely lacking. In this paper, we present the first analysis of classification under the IRM objective--as well as these recently proposed alternatives--under a fairly natural and general model. In the linear case, we show simple conditions under which the optimal solution succeeds or, more often, fails to recover the optimal invariant predictor. We furthermore present the very first results in the non-linear regime: we demonstrate that IRM can fail catastrophically unless the test data are sufficiently similar to the training distribution--this is precisely the issue that it was intended to solve. Thus, in this setting we find that IRM and its alternatives fundamentally do not improve over standard Empirical Risk Minimization.

研究动机与目标

• 以不变预测框架的目标来实现通过利用不变的因果机制来实现分布外泛化的动机与形式化。
• 对基于自然 SEM 的模型中对 IRM 进行严格分析，以确定何时成功或失败。
• 表明 IRM 可能不优于 ERM，在某些情况下甚至可能依赖非不变特征，导致泛化能力差。

提出的方法

• 定义一个结构方程模型，在多环境中具有不变量特征 z_c 和环境（非不变量）特征 z_e。
• 形式化仅使用不变量特征且在各环境中保持不变的最优不变量预测器。
• 在线性设定下分析 IRM 目标（双层和惩罚型形式），建立关于环境数量 E 和环境维度 d_e 的必要充足条件以实现最优不变。
• 扩展到非线性情形，证明除非训练环境大致覆盖非不变量变异的空间，否则 IRM 可能退化为类似 ERM 的行为。
• 给出推论，表明对 IRM 的替代方法也继承了类似的局限性。

实验结果

研究问题

• RQ1 在线性情形下，IRM 在何种条件下能够恢复最优的不变量预测器？
• RQ2 IRM 及其非线性变体是否在分布转变下优于标准 ERM 或 DRO？
• RQ3 当训练环境数量相对于环境特征较小（E ≤ d_e）时，会怎样？
• RQ4 当环境没有覆盖非不变量变异的空间时，IRM 在非线性情形下的表现如何？
• RQ5 IRM 的替代方法是否也存在与 IRM 相同的根本缺点？

主要发现

• 在线性情下，如果 E > d_e，IRM 解会恢复仅使用不变量特征的不变量预测器。
• 若 E ≤ d_e，存在一个使用环境特征的线性预测器，其训练风险低于最佳不变量预测器。
• 在非线性情形，除非训练环境大致覆盖非不变量特征的空间，否则 IRM 可能严重失效，表现得类似于 ERM 或 DRO。
• 存在使用环境特征的可行预测器，其在训练环境上的风险低于最优的不变量预测器，表明无法通过不变量性实现泛化。
• 推论表明，许多提出的 IRM 替代方法在线性和非线性设置中都存在与 IRM 相同的根本缺点。