[论文解读] Understanding Graph Neural Networks from Graph Signal Denoising Perspectives

Guoji Fu, Yifan Hou+4 more|arXiv (Cornell University)|Jun 8, 2020

Advanced Graph Neural Networks参考文献 27被引用 12

一句话总结

本文提出一个统一的理论框架，将图神经网络（GNNs）解释为求解图信号去噪（GSD）问题：谱图卷积对节点特征进行去噪和平滑，而图注意力机制则对边权重进行去噪。该框架催生了两种新模型GSDN-F与GSDN-EF，通过平衡去噪与平滑，在含噪图上实现了最先进性能，且在具有受控噪声水平的基准数据集上通过大量实验得到验证。

ABSTRACT

Graph neural networks (GNNs) have attracted much attention because of their excellent performance on tasks such as node classification. However, there is inadequate understanding on how and why GNNs work, especially for node representation learning. This paper aims to provide a theoretical framework to understand GNNs, specifically, spectral graph convolutional networks and graph attention networks, from graph signal denoising perspectives. Our framework shows that GNNs are implicitly solving graph signal denoising problems: spectral graph convolutions work as denoising node features, while graph attentions work as denoising edge weights. We also show that a linear self-attention mechanism is able to compete with the state-of-the-art graph attention methods. Our theoretical results further lead to two new models, GSDN-F and GSDN-EF, which work effectively for graphs with noisy node features and/or noisy edges. We validate our theoretical findings and also the effectiveness of our new models by experiments on benchmark datasets. The source code is available at \url{https://github.com/fuguoji/GSDN}.

研究动机与目标

• 提供一个统一的理论理解，阐明谱与非谱GNNs在节点表征学习中的工作机制。
• 解释为何GNNs在节点分类任务中表现优异，尤其是在节点特征或边权重存在噪声时。
• 通过图信号去噪（GSD）视角，弥合谱与非谱GNNs之间的鸿沟，统一其作用机制。
• 设计新型GNN模型，显式优化节点特征与边权重的去噪，提升在含噪图上的鲁棒性。

提出的方法

• 将谱图卷积（如GCN、SGC、ChebyNet）形式化为在含噪节点特征上求解图信号去噪问题的多项式近似。
• 将图注意力机制（如GAT、AGNN）建模为隐式求解含噪边权重上的去噪问题。
• 提出GSDN-F，通过可学习的超参数α显式平衡节点特征去噪与平滑。
• 提出GSDN-EF，通过可学习的注意力机制实现线性边去噪，与非线性图注意力机制相竞争。
• 引入一个统一的理论框架，将GNNs解释为求解两个独立的GSD问题：一个针对节点特征，一个针对边权重。
• 通过理论分析与在节点特征和边均含受控噪声的基准数据集上的实证评估，验证该框架。

实验结果

研究问题

• RQ1 谱图卷积网络（SGCNs）在节点特征含噪时，如何促进节点表征学习？
• RQ2 图注意力网络（GANNs）在性能提升中，边权重去噪的贡献有多大，而非仅依赖特征聚合？
• RQ3 能否通过图信号去噪的视角，构建一个统一的理论框架，解释谱与非谱GNNs？
• RQ4 在线性注意力机制下，是否足以实现与最先进非线性图注意力机制在含噪环境下的相当性能？
• RQ5 在不同噪声水平下，节点特征去噪与平滑之间的权衡如何影响GNN性能？

主要发现

• GCN、SGC与ChebyNet中的谱图卷积在含噪节点特征下，起到去噪和平滑作用，且在噪声水平较高时性能增益更显著。
• GAT与AGNN中的图注意力机制隐式求解边权重上的图信号去噪问题，在边含噪图上显著提升性能。
• GSDN-F在含噪节点特征图上实现与GCN和SGC相当或更优的性能，尤其在高噪声条件下，得益于其显式去噪能力。
• GSDN-EF采用线性边去噪机制，在含噪边图上性能与GAT和AGNN相当，表明非线性注意力并非实现有效边去噪的必要条件。
• 当节点特征与边均含噪时，GSDN-F与GSDN-EF在α=1.2时优于所有基线模型，尤其在高噪声条件下，证实了在此类场景中去噪比平滑更为关键。
• 实证结果验证了理论主张：GNNs隐式求解图信号去噪问题，且性能增益与去噪能力直接相关。