[论文解读] On the Generalization and Adaption Performance of Causal Models

Nino Scherrer, Anirudh Goyal+3 more|arXiv (Cornell University)|Jun 9, 2022

Domain Adaptation and Few-Shot Learning被引用 4

一句话总结

本文研究了模块化神经因果模型，该模型将数据生成过程分解为仅基于因果父母的条件概率，相较于整体式和非因果结构化模型，在零样本和少样本泛化及适应性能方面表现更优。关键发现是，因果模型在分布外泛化方面具有鲁棒性，并能以最少的数据实现高效、局部的参数更新，尤其在低数据和稀疏图场景下表现突出。

ABSTRACT

Learning models that offer robust out-of-distribution generalization and fast adaptation is a key challenge in modern machine learning. Modelling causal structure into neural networks holds the promise to accomplish robust zero and few-shot adaptation. Recent advances in differentiable causal discovery have proposed to factorize the data generating process into a set of modules, i.e. one module for the conditional distribution of every variable where only causal parents are used as predictors. Such a modular decomposition of knowledge enables adaptation to distributions shifts by only updating a subset of parameters. In this work, we systematically study the generalization and adaption performance of such modular neural causal models by comparing it to monolithic models and structured models where the set of predictors is not constrained to causal parents. Our analysis shows that the modular neural causal models outperform other models on both zero and few-shot adaptation in low data regimes and offer robust generalization. We also found that the effects are more significant for sparser graphs as compared to denser graphs.

研究动机与目标

• 系统评估因果模型与整体式及非因果结构化模型在分布偏移下的泛化与适应性能。
• 探究模型归纳偏置（尤其是因果结构）在低数据场景下的性能影响。
• 分析适应过程中的参数空间动态，并识别高效的适应策略。
• 评估正则化适应目标在提升少样本适应中样本效率的有效性。

提出的方法

• 作者比较了整体式模型、基于因果、反因果和骨架结构的结构化模型，以及具有已知因果结构的因果模型，所有模型均采用相同的MLP架构，以隔离归纳偏置的影响。
• 在硬干预（分布偏移）下的缺失值预测任务上评估模型，模拟现实世界中的分布变化。
• 通过无约束和稀疏适应目标评估适应性能，测量各模块的梯度大小和参数更新情况。
• 提出一种新型正则化适应目标，以动态控制更新强度，提升样本效率。
• 分析包括参数空间动态，显示因果模型中更新具有局部性，而整体式模型则呈现广泛更新。
• 实验在低维数据集上进行，其中显式给出了因果变量和无环因果图。

实验结果

研究问题

• RQ1 因果模型与整体式及非因果结构化模型相比，在分布外泛化和少样本适应方面表现如何？
• RQ2 因果模型的性能是否依赖于数据可用性，特别是在低数据场景下？
• RQ3 在分布偏移下，整体式模型与因果模型在适应过程中的参数更新有何不同？
• RQ4 正则化适应目标能否提升因果模型的样本效率和适应速度？
• RQ5 因果建模的优势在稀疏因果图与密集因果图中是否更为显著？

主要发现

• 模块化神经因果模型在零样本和少样本适应方面显著优于整体式和非因果结构化模型，尤其在低数据场景下。
• 因果模型在适应过程中表现出局部化参数更新，非干预模块的梯度大小显著低于整体式模型。
• 因果模型与非因果模型之间的性能差距在更稀疏的因果图中比在更密集的图中更为显著。
• 正则化适应可提升适应的速度和统计效率，尤其在仅提供少量适应样本时效果更明显。
• 在足够数据上训练的因果模型，在无约束和稀疏适应目标下均能实现近乎等效的适应性能，表明对干预不确定性的鲁棒性。
• 因果模型的适应行为稳定且高效，对未受影响模块的干扰极小，而整体式模型则会共同调整大量组件。