[论文解读] Representation Learning via Invariant Causal Mechanisms

Jovana Mitrovic, Brian McWilliams+3 more|arXiv (Cornell University)|Oct 15, 2020

Domain Adaptation and Few-Shot Learning参考文献 39被引用 41

一句话总结

ReLIC 引入一种不变因果机制正则化器，用于自监督表示学习，强制代理目标在增强之间保持不变的预测，与理论支持以及在鲁棒性、OOD 泛化和 At ar i 表现方面的显著经验提升。

ABSTRACT

Self-supervised learning has emerged as a strategy to reduce the reliance on costly supervised signal by pretraining representations only using unlabeled data. These methods combine heuristic proxy classification tasks with data augmentations and have achieved significant success, but our theoretical understanding of this success remains limited. In this paper we analyze self-supervised representation learning using a causal framework. We show how data augmentations can be more effectively utilized through explicit invariance constraints on the proxy classifiers employed during pretraining. Based on this, we propose a novel self-supervised objective, Representation Learning via Invariant Causal Mechanisms (ReLIC), that enforces invariant prediction of proxy targets across augmentations through an invariance regularizer which yields improved generalization guarantees. Further, using causality we generalize contrastive learning, a particular kind of self-supervised method, and provide an alternative theoretical explanation for the success of these methods. Empirically, ReLIC significantly outperforms competing methods in terms of robustness and out-of-distribution generalization on ImageNet, while also significantly outperforming these methods on Atari achieving above human-level performance on $51$ out of $57$ games.

研究动机与目标

• 以因果视角Formalize 自监督表示学习（内容与风格之分）以提升泛化能力。
• 提出一种不变预测目标（ReLIC），其使用数据增强作为风格干预。
• 通过因果细化来推广对比学习，以解释并改进下游迁移。
• 提供理论保证，证明在风格干预下的不变表示对下游任务具有泛化性。
• 在 ImageNet 上实证展示鲁棒性、OOD 泛化，以及在 Atari 上的超人类表现。

提出的方法

• 将数据建模为内容 C 和风格 S，其中 C 影响下游目标 Y^t 但 S 不影响；假设 C ⟂ S 且 X 由 C 和 S 生成。
• 使用数据增强作为对 S 的干预来模拟风格变化，并学习来自 f(X) 的代理目标 Y^R 的不变预测。
• 定义 ReLIC 目标，最小化对比代理损失，同时通过容忍度 ρ 的基于 KL 的正则化使 p^{do(a)}(Y^R|f(X)) 在增强 a 间保持不变。
• 使用实例判别作为代理任务 Y^R，通过增强对来计算相似性；关联编码器 f、评判器 g，以及可能的目标网络 h。
• 显示不变性约束提高同类内的紧密性与泛化，并给出理论依据（定理1），即对不变的 refinements 足以应对下游任务。
• 通过引入 refinements 来推广对比学习，证明在对风格干预下对 refinements 的不变表示可扩展到下游任务。

实验结果

研究问题

• RQ1 数据增强下的显式不变性是否能提升自监督表示的有用性和泛化能力？
• RQ2 通过 ReLIC 学到的表示是否能够泛化到下游任务，并在鲁棒性和超出先前对比方法的 OOD 泛化方面表现？
• RQ3 refinements 如何为对比学习的成功提供因果解释，并与互信息基础观点相关联？

主要发现

• ReLIC 在 ImageNet 上实现了强线性评估表现，在可比增强下优于若干自监督基线。
• 与监督和其他无监督方法相比，ReLIC 在 ImageNet-C 与 ImageNet-R 上显著提高鲁棒性和超出分布泛化。
• 在 Atari 强化学习中，基于 ReLIC 的表示实现了更优性能，在57款游戏中达到51款超越人类水平。
• 不变性正则化促进了类内表示的更紧密和线性可分性（通过 F_LDA 分析所示）。
• 定理1 表明在具有不变预测和增强下对 refinements 的学习足以泛化到下游任务，提供了对对比成功的互信息替代解释。