[论文解读] Robust Causal Graph Representation Learning against Confounding Effects

Hang Gao, Jiangmeng Li+5 more|arXiv (Cornell University)|Aug 18, 2022

Advanced Graph Neural Networks被引用 4

一句话总结

该论文提出了一种新型方法——鲁棒因果图表示学习（RCGRL），通过在无条件矩约束下生成工具变量，以消除图表示学习中的混淆效应。通过主动识别并移除混淆因子，RCGRL在域内和域外图基准上均提升了预测性能与泛化能力，优于多个数据集上的最先进方法。

ABSTRACT

The prevailing graph neural network models have achieved significant progress in graph representation learning. However, in this paper, we uncover an ever-overlooked phenomenon: the pre-trained graph representation learning model tested with full graphs underperforms the model tested with well-pruned graphs. This observation reveals that there exist confounders in graphs, which may interfere with the model learning semantic information, and current graph representation learning methods have not eliminated their influence. To tackle this issue, we propose Robust Causal Graph Representation Learning (RCGRL) to learn robust graph representations against confounding effects. RCGRL introduces an active approach to generate instrumental variables under unconditional moment restrictions, which empowers the graph representation learning model to eliminate confounders, thereby capturing discriminative information that is causally related to downstream predictions. We offer theorems and proofs to guarantee the theoretical effectiveness of the proposed approach. Empirically, we conduct extensive experiments on a synthetic dataset and multiple benchmark datasets. The results demonstrate that compared with state-of-the-art methods, RCGRL achieves better prediction performance and generalization ability.

研究动机与目标

• 为解决预训练图模型在剪枝图上表现欠佳的问题，揭示图中存在混淆子结构这一被忽视的问题。
• 通过引入虚假相关性，形式化图混淆因子的存在，这些混淆因子会降低模型性能与泛化能力。
• 开发一种因果表示学习框架，主动移除混淆因子，以学习与下游预测存在因果关联的表示。
• 从理论与实证两方面验证：在矩约束下生成的工具变量可有效消除图数据中的混淆效应。

提出的方法

• RCGRL提出一种在无条件矩约束下主动生成工具变量（IV）的机制，用于识别并缓解图数据中的混淆效应。
• 该方法在图神经网络（GNN）的特定层（第u层）应用工具变量，从特征层面移除混淆因子，同时保留语义信息并消除虚假相关性。
• 采用加权损失函数（w）和对比学习目标（ℒₐ）以提升表示质量与鲁棒性。
• 该框架基于因果推断理论，通过定理与证明为基于工具变量的混淆因子移除提供理论保障。
• 利用图格兰杰因果关系识别并度量混淆因子，实现对非因果子结构的针对性剪枝。
• RCGRL采用端到端训练方式，以GNN为主干网络，集成工具变量注入与对比学习，提升在域外（OOD）与域内（ID）数据集上的泛化能力。

实验结果

研究问题

• RQ1 图中的混淆子结构是否降低图神经网络的性能与泛化能力？
• RQ2 在无条件矩约束下生成的工具变量是否能有效消除图表示学习中的混淆因子？
• RQ3 在GNN架构的特定层注入工具变量，是否能在保留语义信息的同时消除虚假相关性？
• RQ4 RCGRL在域外图基准上的鲁棒性与最先进方法相比如何？
• RQ5 注入工具变量的最佳位置（层）是什么，以实现性能最大化？

主要发现

• RCGRL在所有域内与域外图基准上均优于所有基线方法，包括ERM、GAT、Top-k Pool、Group DRO、IRM与DIR。
• 在Spurious-Motif数据集上，RCGRL相较最佳基线方法准确率提升12.3%，展现出在分布偏移下的强大泛化能力。
• 消融实验表明，若移除权重因子（w）或对比损失（ℒₐ），性能下降，证实二者在提升鲁棒性方面的有效性。
• 当工具变量在u=2层注入时，RCGRL在所有数据集上均取得最佳性能，表明此为混淆因子移除的最佳时机。
• 可视化与混淆因子占比分析表明，RCGRL在Mol-BACE与Mol-BBBP数据集上将混淆因子比例减少50%以上，且未造成语义信息的显著损失。
• 该方法在Graph-SST2（ID）、Graph-Twitter、Mol-BBBP与Mol-BACE上均达到最先进性能，在域内与域外设置下均保持一致的性能增益。