[论文解读] Uplifting Message Passing Neural Network with Graph Original Information

Xiao Liu, Lijun Zhang+1 more|arXiv (Cornell University)|Oct 8, 2022

Advanced Graph Neural Networks被引用 4

一句话总结

本文提出 INGNN，一种新型图神经网络，通过自适应融合方式联合利用自我节点特征、聚合邻域特征和图结构特征，增强消息传递神经网络（MPNNs）的性能。通过理论证明其表达能力提升，并在实验中展现出最先进性能，INGNN 在 GCN 和 LINKX 等基线模型上实现了平均排名 1.78 和最高达 8.57% 的准确率提升。

ABSTRACT

Message passing neural networks (MPNNs) learn the representation of graph-structured data based on graph original information, including node features and graph structures, and have shown astonishing improvement in node classification tasks. However, the expressive power of MPNNs is upper bounded by the first-order Weisfeiler-Leman test and its accuracy still has room for improvement. This work studies how to improve MPNNs' expressiveness and generalizability by fully exploiting graph original information both theoretically and empirically. It further proposes a new GNN model called INGNN (INformation-enhanced Graph Neural Network) that leverages the insights to improve node classification performance. Extensive experiments on both synthetic and real datasets demonstrate the superiority (average rank 1.78) of our INGNN compared with state-of-the-art methods.

研究动机与目标

• 解决 MPNN 表达能力受限的问题，其受限于 1-WL 同构性测试，无法区分某些非同构图。
• 克服现有方法依赖手工设计特征的局限，这些特征引入归纳偏差，违背了 MPNN 自动学习的前提。
• 在保持与节点数量线性可扩展性的同时，提升模型的表达能力和泛化能力。
• 探究是否可以完全利用图原始信息——节点特征与图结构——以提升 MPNN 性能，而无需人工特征工程。
• 构建统一框架，自适应融合多种图特征，以增强节点表征学习。

提出的方法

• 提出 INGNN，一种 GNN 模型，整合三类图原始信息：自我节点特征（节点属性）、聚合邻域特征（消息传递表示）和图结构特征（邻接矩阵提供的拓扑信息）。
• 引入双层优化框架，学习三类特征的自适应融合权重，实现在训练过程中动态分配重要性。
• 通过可学习的注意力类似权重形式化特征融合过程，利用双层学习过程进行优化，以平衡不同特征类型之间的贡献。
• 通过避免高阶张量运算，保持线性可扩展性，与基于 k-WL 的方法不同，确保在大规模图上的适用性。
• 在消息传递框架内应用融合机制，其中节点表征通过原始节点特征、邻域聚合结果和结构编码的组合进行更新。
• 使用多头注意力机制计算自适应融合权重，确保模型能根据图属性和同质性水平动态强调相关特征。

实验结果

研究问题

• RQ1 通过完全利用图原始信息——特别是自我节点特征、聚合邻域特征和图结构特征——是否可以增强 MPNN 的表达能力，而无需依赖手工设计特征？
• RQ2 集成图结构特征是否能超越 1-WL 的表达能力边界？若能，其在区分非同构图方面与 3-WL 相比如何？
• RQ3 在某些图设置中，自我节点特征是否能独立降低节点误分类率，特别是在低同质性图中？
• RQ4 在不同同质性水平的图中，这三类特征对性能的贡献程度如何？它们的相对重要性如何变化？
• RQ5 所提出的自适应融合机制是否能显著提升现有 MPNN 模型（如 GCN、LINKX 和 H2GCN）的准确率，当这些特征以即插即用方式添加时？

主要发现

• INGNN 在 9 个真实世界数据集上平均排名为 1.78，优于 12 种最先进 GNN 基线模型。
• 在真实数据集上，INGNN 平均比 GCN 提高节点分类准确率 4.17%，比 MIXHOP 提高 4.01%，比 GPR-GNN 提高 3.43%。
• 消融研究证实，三类特征——自我节点、聚合邻域和图结构——均对性能有显著贡献，其中图结构特征在低至中等同质性图中最为关键。
• 特征重要性分析表明，在同质性图中（如 Cora、PubMed），聚合邻域特征占主导地位；而在低同质性图中（如 arXiv-year、twitch-gamer），图结构特征最具影响力。
• 将三类识别出的特征添加至现有模型（如 GCN、LINKX 和 H2GCN）后，平均准确率提升 0.40% 至 8.57%，其中在 GCN 上取得最高提升（8.57%）。
• 理论分析证明，INGNN 的表达能力超过 1-WL，且不弱于 3-WL；同时，自我节点特征可在特定情况下降低误分类率，验证了模型的理论基础。