[论文解读] Weakly Supervised Disentangled Generative Causal Representation Learning

Xinwei Shen, Furui Liu+4 more|arXiv (Cornell University)|Oct 6, 2020

Domain Adaptation and Few-Shot Learning被引用 24

一句话总结

本文提出DEAR，一种弱监督的解耦生成因果表征学习方法，该方法在双向生成模型中以结构因果模型（SCM）作为先验，实现了对因果相关因素的精确解耦。与依赖独立先验而在此类因果依赖下失效的先前方法不同，DEAR通过对抗生成网络（GAN）框架联合训练生成器、编码器和SCM先验，实现了可识别的、可控的生成，并在下游任务中提升了样本效率和鲁棒性。

ABSTRACT

This paper proposes a Disentangled gEnerative cAusal Representation (DEAR) learning method under appropriate supervised information. Unlike existing disentanglement methods that enforce independence of the latent variables, we consider the general case where the underlying factors of interests can be causally related. We show that previous methods with independent priors fail to disentangle causally related factors even under supervision. Motivated by this finding, we propose a new disentangled learning method called DEAR that enables causal controllable generation and causal representation learning. The key ingredient of this new formulation is to use a structural causal model (SCM) as the prior distribution for a bidirectional generative model. The prior is then trained jointly with a generator and an encoder using a suitable GAN algorithm incorporated with supervised information on the ground-truth factors and their underlying causal structure. We provide theoretical justification on the identifiability and asymptotic convergence of the proposed method. We conduct extensive experiments on both synthesized and real data sets to demonstrate the effectiveness of DEAR in causal controllable generation, and the benefits of the learned representations for downstream tasks in terms of sample efficiency and distributional robustness.

研究动机与目标

• 解决现有解耦方法在潜在因素存在因果关联时，即使有监督仍因使用独立先验而失效的问题。
• 提出一种新方法，在因果依赖下实现解耦表征学习，通过将潜在先验建模为结构因果模型（SCM）。
• 为所提方法的可识别性与渐近收敛性提供理论依据。
• 展示所学表征在因果可控生成与下游任务中的优势，包括提升的样本效率与分布鲁棒性。

提出的方法

• 引入双向生成模型（生成器与编码器），并以结构因果模型（SCM）作为潜在变量的先验分布，替代独立先验。
• 将潜在因子建模为因果图，其中每个节点代表一个因子，边表示直接因果影响，并假设因果结构的超图在先验已知。
• 通过基于GAN的优化框架，联合训练生成器、编码器与SCM先验，利用标注标签实现弱监督以获取真实因子。
• 采用GAN目标，其中判别器用于区分真实数据与生成数据；编码器将观测映射到潜在空间，生成器则从潜在变量重建数据。
• 引入监督正则化项，使潜在表征与真实因子对齐，正则化系数λ=1000以实现平衡。
• 采用联合训练流程，同时强制实现数据重建与因果结构一致性，从而实现解耦且因果一致的生成。

实验结果

研究问题

• RQ1 在弱监督下，依赖独立先验的现有解耦方法能否成功解耦因果相关的因素？
• RQ2 当因素存在因果依赖时，将潜在先验建模为结构因果模型（SCM）是否能实现更好的解耦与可控生成？
• RQ3 在假设的因果结构下，所提DEAR方法是否具有可识别性与渐近收敛性？
• RQ4 DEAR学习到的解耦表征是否能提升下游预测任务在分布偏移下的样本效率与鲁棒性？

主要发现

• 即使仅有100个标注样本，DEAR仍能成功解耦因果相关的因素，而独立先验方法则失败。
• 该方法在解耦性与可控生成方面表现更优，表现为平滑且可解释的潜在空间遍历，以及尊重因果方向性的干预结果。
• 在因果干预实验中，对原因变量的干预会影响下游效应变量，而对效应变量的干预则不影响原因——验证了因果结构建模的正确性。
• 在生成质量与解耦性方面，DEAR优于S-VAEs、GraphVAE与CausalGAN，尤其在捕捉连续且有意义的因子变化方面表现更优。
• 所学表征显著提升了下游预测任务中的样本效率与分布鲁棒性，验证了因果解耦的不变性。
• 理论分析证实了该表征的可识别性，以及在假设因果结构下DEAR算法的渐近收敛性。