[论文解读] Unifying Graph Convolutional Neural Networks and Label Propagation

Hongwei Wang, Jure Leskovec|arXiv (Cornell University)|Feb 17, 2020

Advanced Graph Neural Networks参考文献 31被引用 100

一句话总结

本论文理论上将 Label Propagation (LPA) 与 Graph Convolutional Networks (GCN) 联系起来，然后提出 GCN-LPA，这是一个端到端的统一模型，具有可学习的边权，通过用 LPA 正则化 GCN 来提升节点分类性能。

ABSTRACT

Label Propagation (LPA) and Graph Convolutional Neural Networks (GCN) are both message passing algorithms on graphs. Both solve the task of node classification but LPA propagates node label information across the edges of the graph, while GCN propagates and transforms node feature information. However, while conceptually similar, theoretical relation between LPA and GCN has not yet been investigated. Here we study the relationship between LPA and GCN in terms of two aspects: (1) feature/label smoothing where we analyze how the feature/label of one node is spread over its neighbors; And, (2) feature/label influence of how much the initial feature/label of one node influences the final feature/label of another node. Based on our theoretical analysis, we propose an end-to-end model that unifies GCN and LPA for node classification. In our unified model, edge weights are learnable, and the LPA serves as regularization to assist the GCN in learning proper edge weights that lead to improved classification performance. Our model can also be seen as learning attention weights based on node labels, which is more task-oriented than existing feature-based attention models. In a number of experiments on real-world graphs, our model shows superiority over state-of-the-art GCN-based methods in terms of node classification accuracy.

研究动机与目标

• 促成标签传播与图卷积网络在图上节点分类性能的集成
• 从理论角度分析 LPA 与 GCN 的特征/标签平滑与影响
• 开发一个统一的端到端模型（GCN-LPA），通过学习边权来增强类内连通性与标签分离
• 证明 LPA 正则化有助于学习更好的边权并提高分类准确性

提出的方法

• 在包含邻接矩阵 A、特征 X、标签 Y 的图上，形式化用 LPA 与 GCN 进行节点分类
• 显示 GCN 中的特征平滑和 LPA 中的标签平滑遵循共有的平滑原理；通过定理 1 建立关系
• 定义特征影响 I_f 和标签影响 I_l，以将 GCN 与 LPA 联系起来（定理 2 与定理 3）
• 提出两步优化：先通过最小化 LPA 损失学习最优边权 A*，再用 A* 训练 GCN（方程式 15–17）
• 将两步合并为端到端目标 L_gcn(W,A) + λ L_lpa(A) 以实现联合训练（式 18）
• 将 A* 解释为学习类内边权强调，以加强同一类的连接性和标签分离。

实验结果

研究问题

• RQ1 GCN 中的特征平滑与 LPA 的标签平滑之间的理论关系是什么？
• RQ2 如何通过学习边权来加强类内连接并提升节点分类？
• RQ3 在端到端框架中统一 GCN 与 LPA，是否在常用图数据集上优于传统的 GCN 与 LPA 基线？
• RQ4 LPA 正则化对训练稳定性和对噪声边的鲁棒性有何影响？

主要发现

• GCN 与 LPA 都在图边上执行平滑；高精度的特征平滑意味着近似的标签平滑（定理 1）。
• 一个节点的特征影响与标签影响通过累计归一化的特征影响相关（定理 2）。
• 类内标签影响与更高的 LPA 准确度相关；通过最小化 LPA 损失学习边权会增加类内连通性（定理 3）。
• 统一的 GCN-LPA 模型端到端学习最优边权与 GCN 参数，LPA 正则化有助于边权学习（式 18）。
• GCN-LPA 在五个数据集上优于最先进的基线，表现出更高的节点分类准确率（表 2）。
• GCN-LPA 对噪声边具有鲁棒性，通过加强类内连接同时保持训练效率（图 2，表 2）。
• 在五个数据集上，GCN-LPA 的平均准确率高于 MLP、LR、LPA、GCN、GAT、JK-Net 和 GraphSAGE 等基线（表 2）。