[论文解读] Random Features Strengthen Graph Neural Networks

Ryoma Sato, Makoto Yamada+1 more|arXiv (Cornell University)|Feb 8, 2020

Advanced Graph Neural Networks被引用 10

一句话总结

本文提出在图神经网络（GNNs）的每个节点中添加随机特征，证明这一简单修改能显著增强其表达能力。通过使GNN能够学习随机化算法，该方法在任意大规模图上实现了最小支配集和最大匹配等组合问题的近似最优比，同时在真实世界数据集上保持了良好性能。

ABSTRACT

Graph neural networks (GNNs) are powerful machine learning models for various graph learning tasks. Recently, the limitations of the expressive power of various GNN models have been revealed. For example, GNNs cannot distinguish some non-isomorphic graphs and they cannot learn efficient graph algorithms. In this paper, we demonstrate that GNNs become powerful just by adding a random feature to each node. We prove that the random features enable GNNs to learn almost optimal polynomial-time approximation algorithms for the minimum dominating set problem and maximum matching problem in terms of approximation ratios. The main advantage of our method is that it can be combined with off-the-shelf GNN models with slight modifications. Through experiments, we show that the addition of random features enables GNNs to solve various problems that normal GNNs, including the graph convolutional networks (GCNs) and graph isomorphism networks (GINs), cannot solve.

研究动机与目标

• 解决标准GNN的理论局限性，即无法区分某些非同构图或学习高效图算法的问题。
• 提升GNN在最小支配集（MDS）和最大匹配（MM）等NP难组合问题上的近似比。
• 开发一种方法，在不改变网络架构或依赖图结构先验知识的前提下，增强GNN的表达能力。
• 确保该方法在任意大小图上（包括无界大小）均保持有效且具备泛化能力。
• 证明随机特征使GNN能够隐式学习复杂子结构，如环和局部聚类系数。

提出的方法

• 在GNN的每个节点中引入随机特征，形成一种新变体，称为rGIN（带随机特征的图同构网络）。
• 为每个节点分配独立同分布（i.i.d.）的随机特征向量，并在每次前向传播时重新采样，使模型能够模拟随机化算法。
• 证明rGIN能够学习近似比与目前已知最佳多项式时间算法一致（仅在低阶项上存在差异）的算法。
• 建立rGIN与常数时间分布式随机算法之间的理论等价性，从而实现理论保证的迁移。
• 将该方法应用于消息传递型GNN（如GCN和GIN），仅需最小修改，保持与现有框架的兼容性。
• 通过t-SNE可视化和AUC分数，实证验证rGIN学习到了有意义的表示，并在不同随机种子和图大小下具备泛化能力。

实验结果

研究问题

• RQ1 在节点中添加随机特征是否能显著提升GNN的表达能力，使其超越1-WL测试的限制？
• RQ2 rGIN能否在最小支配集（MDS）和最大匹配（MM）等基础图问题上实现近似最优比？
• RQ3 添加随机特征是否能使GNN识别出局部子结构（如三角形或环），即使标准GNN无法做到？
• RQ4 rGIN能否在不损害现有性能的前提下，保持或提升在真实世界图数据集上的表现？
• RQ5 rGIN的理论优势是否在任意大小图（包括无界大小）上均保持不变？

主要发现

• 对于最小支配集问题，rGIN实现了 $ H(\Delta+1) + \varepsilon $ 的近似比，与目前已知最佳多项式时间算法一致，仅在低阶项上存在差异。
• 对于最大匹配问题，rGIN实现了 $ 1 + \varepsilon $ 的近似比，该结果与已知下界一致，且在 $ \varepsilon $ 范围内为最优。
• rGIN能够学习MDS的顺序贪心算法，这在100个节点的测试图上通过高AUC分数得到验证，而标准GIN和GCN则无法学习该模式。
• 该方法使GNN能够检测局部子结构（如三角形）并计算局部聚类系数，而标准GNN无法实现此功能。
• 在真实世界数据集（MUTAG、NCI1、PROTEINS）上，rGIN在两项任务中显著优于GIN，且在其他任务中未出现性能下降。
• rGIN在不同随机种子下保持一致性能，t-SNE可视化显示节点嵌入稳定，表明对随机特征变化具有鲁棒性。