[论文解读] Towards Causal Representation Learning

Bernhard Schölkopf, Francesco Locatello+5 more|arXiv (Cornell University)|Feb 22, 2021

Bayesian Modeling and Causal Inference被引用 76

一句话总结

本论文综述因果推断概念，并主张学习因果表示以提升机器学习的鲁棒性、迁移性与泛化能力，详细讨论了 SCMs、ICM 和干预。

ABSTRACT

The two fields of machine learning and graphical causality arose and developed separately. However, there is now cross-pollination and increasing interest in both fields to benefit from the advances of the other. In the present paper, we review fundamental concepts of causal inference and relate them to crucial open problems of machine learning, including transfer and generalization, thereby assaying how causality can contribute to modern machine learning research. This also applies in the opposite direction: we note that most work in causality starts from the premise that the causal variables are given. A central problem for AI and causality is, thus, causal representation learning, the discovery of high-level causal variables from low-level observations. Finally, we delineate some implications of causality for machine learning and propose key research areas at the intersection of both communities.

研究动机与目标

• 动机：在机器学习中需要因果推理以应对鲁棒性问题与分布漂移。
• 明确统计模型、因果图模型与结构因果模型之间的差异。
• 提出独立因果机制（Independent Causal Mechanisms）原则，作为从数据中学习因果关系的基础。
• 讨论如何学习因果表示及其对机器学习任务与应用的影响。

提出的方法

• 解释从机械化/机制层到统计表达的因果建模层级。
• 介绍带有因果机制和独立噪声的结构因果模型（SCMs）。
• 在SCM框架内定义干预和反事实。
• 提出独立因果机制（ICM）原则及其对学习与泛化的影响。
• 回顾从描述符学习因果关系的方法，包括经典与深度学习视角。
• 讨论因果表示如何影响鲁棒性、迁移性以及常见的机器学习实践。

实验结果

研究问题

• RQ1 如何形式化因果模型以处理干预和分布漂移？
• RQ2 从数据中学习时，SCMs与因果图的收益与局限性是什么？
• RQ3 独立因果机制如何指导从观测中学习因果表示？
• RQ4 因果表示在哪些方面可以提升机器学习系统的鲁棒性与迁移性？

主要发现

• 因果性提供了一个框架，用于对干预和分布变化进行推理，超越独立同分布(i.i.d.)预测。
• SCMs 将联合分布分解为因果机制的因式分解，从而实现对干预的推理。
• 独立因果机制（ICM）原则支持学习可重复使用、模块化的因果知识。
• 从数据学习因果表示可能提升鲁棒性、泛化性和样本效率。
• 建模层级的分类法有助于明确何时以及如何使用物理/因果结构来回答干预和反事实问题。
• 本文将因果推理与半监督学习和自监督学习等实际机器学习实践联系起来，强调它们的因果解释。