[论文解读] On Graph Neural Networks versus Graph-Augmented MLPs

Zhengdao Chen, Lei Chen+1 more|arXiv (Cornell University)|May 3, 2021

Advanced Graph Neural Networks参考文献 48被引用 2

一句话总结

本文比较了图神经网络（GNNs）与图增强多层感知机（GA-MLPs），后者在应用多层感知机前使用多跳图算子增强节点特征。尽管GA-MLPs在通过Weisfeiler-Lehman测试区分非同构图方面与GNNs表现相当，但其在计数带属性路径方面表现出指数级更弱的表达能力，且受限于算子选择，而GNNs则更具灵活性。

ABSTRACT

From the angles of expressive power and learning, this work compares multi-layer Graph Neural Networks (GNNs) with a simplified alternative that we call Graph-Augmented Multi-Layer Perceptrons (GA-MLPs), which first augments node features with certain multi-hop operators on the graph and then applies an MLP in a node-wise fashion. From the perspective of graph isomorphism testing, we show both theoretically and numerically that GA-MLP with suitable operators can distinguish almost all non-isomorphic graphs, just like the Weifeiler-Lehman (WL) test. However, by viewing them as node-level functions and examining the equivalence classes that they induce on rooted graphs, we prove a separation in expressive power between GA-MLPs and GNNs that grows exponentially in depth. In particular, unlike GNNs, GA-MLPs are unable to count the number of attributed walks. We also demonstrate via community detection experiments that GA-MLPs can be limited by their choice of operator family, as compared to GNNs with higher flexibility in learning.

研究动机与目标

• 研究GA-MLPs是否能在图表示学习中匹配GNNs的表达能力。
• 分析GA-MLPs在区分同构性之外的图结构时的局限性。
• 评估算子选择如何影响GA-MLPs在与可学习GNNs对比下的性能。
• 理解GA-MLPs与GNNs在表达能力上的理论与实证差异，特别是在计数带属性路径方面。

提出的方法

• 提出GA-MLPs作为GNNs的简化替代方案，即在标准多层感知机处理前，使用多跳图算子增强节点特征。
• 使用Weisfeiler-Lehman（WL）测试作为基准，评估GA-MLPs在合适算子下区分同构图的能力。
• 理论上分析GA-MLPs与GNNs在根图上诱导的等价类，揭示其表达能力的差异。
• 形式化证明GA-MLPs无法计数图中的带属性路径，而GNNs具备此能力。
• 通过社区检测实验，实证比较不同算子族下GA-MLPs与GNNs的性能。
• 通过节点级函数分析，比较GA-MLPs与GNNs的归纳偏差与表征能力。

实验结果

研究问题

• RQ1 GA-MLPs能否像Weisfeiler-Lehman测试一样区分几乎所有非同构图？
• RQ2 GA-MLPs的表达能力是否随网络深度增加而与GNNs产生指数级分离？
• RQ3 GA-MLPs能否计数图中的带属性路径？与GNNs相比如何？
• RQ4 多跳算子族的选择如何影响GA-MLPs在真实图学习任务中的性能？
• RQ5 与可学习GNNs相比，GA-MLPs在节点级预测任务中的根本表征限制是什么？

主要发现

• 使用合适多跳算子的GA-MLPs能够区分几乎所有非同构图，其表现与Weisfeiler-Lehman测试相当。
• 在分析根图上诱导的等价类时，GA-MLPs与GNNs之间存在指数级的表达能力分离。
• GA-MLPs在本质上无法计数图中的带属性路径，而GNNs具备此能力。
• 社区检测实验表明，GA-MLPs受限于其固定的算子族，而GNNs由于具备可学习的归纳偏差，性能更优。
• 理论分析证实，GA-MLPs在捕捉同构性之外的复杂结构模式方面，缺乏GNNs的表征能力。
• 尽管在同构性测试中与GNNs表现相当，GA-MLPs在学习复杂图级与节点级函数方面仍缺乏灵活性与表达力。