[论文解读] Understanding Non-linearity in Graph Neural Networks from the Bayesian-Inference Perspective

Rongzhe Wei, Haoteng Yin+3 more|arXiv (Cornell University)|Jul 22, 2022

Advanced Graph Neural Networks被引用 4

一句话总结

本文通过贝叶斯推断框架化图神经网络（GNNs），表明在上下文随机块模型（CSBM）下，节点分类的最优后验最大估计（MAP）自然导出一种类似GNN的架构，其包含ReLU激活的邻居特征聚合与非线性属性变换。关键发现是，仅当节点属性相对于图结构具有高度信息量时，非线性才能带来显著性能提升，这解释了为何在实践中GNNs的性能往往仅略优于线性基线模型。

ABSTRACT

Graph neural networks (GNNs) have shown superiority in many prediction tasks over graphs due to their impressive capability of capturing nonlinear relations in graph-structured data. However, for node classification tasks, often, only marginal improvement of GNNs over their linear counterparts has been observed. Previous works provide very few understandings of this phenomenon. In this work, we resort to Bayesian learning to deeply investigate the functions of non-linearity in GNNs for node classification tasks. Given a graph generated from the statistical model CSBM, we observe that the max-a-posterior estimation of a node label given its own and neighbors' attributes consists of two types of non-linearity, a possibly non-linear transformation of node attributes and a ReLU-activated feature aggregation from neighbors. The latter surprisingly matches the type of non-linearity used in many GNN models. By further imposing Gaussian assumption on node attributes, we prove that the superiority of those ReLU activations is only significant when the node attributes are far more informative than the graph structure, which nicely matches many previous empirical observations. A similar argument can be achieved when there is a distribution shift of node attributes between the training and testing datasets. Finally, we verify our theory on both synthetic and real-world networks.

研究动机与目标

• 理解为何非线性GNN在节点分类任务中常仅相对于线性模型表现出微小改进。
• 研究GNN中非线性相对于线性传播在何种统计条件下能提供有意义的优势。
• 从贝叶斯推断的角度形式化非线性在GNN中的作用，尤其关注特征表示与模型泛化能力。
• 分析节点属性分布偏移对模型迁移能力的影响，特别比较线性与非线性GNN。
• 在合成图与真实世界图上，通过实证验证理论发现。

提出的方法

• 作者使用具有标签相关高斯节点属性的上下文随机块模型（CSBM）对节点分类进行建模。
• 推导节点标签的后验最大估计（MAP）器，其自然导出一种包含ReLU激活邻居聚合与非线性属性变换的类似GNN的架构。
• 在节点属性服从高斯分布的假设下，对线性与非线性模型的误分类误差进行解析比较。
• 形式化非线性提升性能的条件，区分属性信息量有限与充足的不同情形。
• 通过旋转节点属性的均值向量，分析在分布偏移下模型的迁移能力，并比较线性与非线性模型的误差增加情况。
• 通过在合成CSBM生成图与真实世界数据集上的实验，验证理论预测，固定模型超参数以隔离非线性的影响。

实验结果

研究问题

• RQ1 在何种条件下，GNN中的非线性相对于线性传播在节点分类中能提供显著优势？
• RQ2 为何许多实证研究观察到非线性GNN相对于线性基线的性能提升微乎其微，尽管其具有强大表达能力？
• RQ3 节点属性相对于图结构的信息量如何影响GNN中非线性的收益？
• RQ4 当训练与测试数据中节点属性存在分布偏移时，非线性是否能提升模型的迁移能力？
• RQ5 贝叶斯推断能否为GNN中消息传递的函数形式提供原则性解释？

主要发现

• 当节点属性的信息量低于图结构时，非线性与线性模型的误分类误差在渐近意义上等价，其误差比趋近于1。
• 当节点属性信息量足够高时，非线性模型的误分类误差可显著低于线性模型，且随着样本量增加，误差比趋近于0。
• 在节点属性存在分布偏移时，当属性具有信息量，非线性模型相比线性模型展现出更好的迁移能力，表现为误分类误差增加更小。
• 理论分析确认，GNN中基于ReLU的消息传递形式自然源于CSBM下的贝叶斯MAP估计，为该设计提供了原则性依据。
• 在合成图与真实世界图上的实证结果验证了理论预测，表明非线性GNN仅在属性高度信息丰富时才优于线性模型。
• 在属性信息量有限的场景下，非线性与线性模型之间的性能差距可忽略，这与现实世界节点分类任务中的常见实证观察一致。