[论文解读] Out-of-Distribution Generalization with Maximal Invariant Predictor

Masanori Koyama, Shoichiro Yamaguchi|arXiv (Cornell University)|May 4, 2021

Domain Adaptation and Few-Shot Learning参考文献 15被引用 42

一句话总结

本文提出 Inter Gradient Alignment (IGA) 算法，通过识别与目标变量互信息最大的不变特征，实现分布外（OOD）泛化，从而实现特征学习与预测器训练的联合优化。该文从理论上建立了最大不变预测器条件，并在标准和扩展的 Colored-MNIST 基准上实现了最先进性能。

ABSTRACT

Out-of-Distribution (OOD) generalization is a problem of seeking the predictor function whose performance in the worst environment is optimal. This paper makes both theoretical and algorithmic contributions to the OOD problem. We consider a set of all invariant features conditioned to which the target variable and the environment variable becomes independent, and theoretically prove that one can seek an OOD optimal predictor by looking for the mutual-information maximizing feature amongst the invariant features. We establish this result as extit{Maximal Invariant Predictor condition}. Our theoretical work is closely related to approaches like Invariant Risk Minimization and Invariant Rationalization. We also derive from our theory the extit{Inter Gradient Alignment}(IGA) algorithm that uses a parametrization trick to conduct extit{feature searching} and extit{predictor training} at once. We develop an extension of the Colored-MNIST that can more accurately represent the pathological OOD situation than the original version, and demonstrate the superiority of IGA over previous methods on both the original and the extended version of Colored-MNIST.

研究动机与目标

• 为解决分布外（OOD）泛化挑战，识别在多种环境中均表现良好的预测器。
• 从理论上建立在最坏环境条件下，不变特征使预测性能最大化的条件。
• 开发一种统一算法，联合搜索不变特征并训练预测器，以提升 OOD 泛化能力。
• 通过扩展 Colored-MNIST，构建更具病理性的 OOD 基准，以更好地反映现实世界中的分布偏移。

提出的方法

• 本文提出最大不变预测器条件，证明在环境不变的前提下，使目标变量与特征间互信息最大的特征，可导出最优 OOD 预测器。
• 提出 Inter Gradient Alignment (IGA) 算法，利用参数化技巧通过梯度对齐，联合优化特征表示与预测器。
• IGA 支持端到端训练，使特征搜索与预测器学习同步进行，避免分阶段优化。
• 该方法建立在不变风险最小化与不变合理化的基础上，扩展了其理论与算法框架。
• 构建了扩展的 Colored-MNIST 数据集，以更好地模拟具有更复杂虚假相关性的挑战性 OOD 场景。

实验结果

研究问题

• RQ1 何种理论条件可确保预测器在所有环境中均实现最优最坏情况性能？
• RQ2 如何识别不变特征，使其与目标变量的互信息最大化？
• RQ3 能否设计单一算法，联合优化特征学习与预测器训练，以提升 OOD 泛化性能？
• RQ4 在更真实且具有病理性的 OOD 分布偏移下，所提方法表现如何？

主要发现

• 理论上证明了最大不变预测器条件，表明在不变特征中最大化互信息可获得 OOD 最优预测器。
• Inter Gradient Alignment (IGA) 算法在原始和扩展的 Colored-MNIST 上均优于先前方法，实现了更优的 OOD 泛化性能。
• 扩展的 Colored-MNIST 基准比原始版本更准确地捕捉了复杂且病理性的 OOD 偏移。
• IGA 通过联合优化特征与预测器，有效学习不变表征，展现出最先进性能。