[论文解读] Revisiting Graph Neural Networks: All We Have is Low-Pass Filters

Hoang Nt, Takanori Maehara|arXiv (Cornell University)|May 23, 2019

Advanced Graph Neural Networks参考文献 32被引用 248

一句话总结

本文通过图信号处理分析 GNNs，揭示 GNNs 主要执行低通滤波；学习通常是多余的，而 gfNN 作为一种有效的快速基线去噪方法。它在多个基准测试中提供了理论和实证证据，并引入了一种低通图滤波神经网络。

ABSTRACT

Graph neural networks have become one of the most important techniques to solve machine learning problems on graph-structured data. Recent work on vertex classification proposed deep and distributed learning models to achieve high performance and scalability. However, we find that the feature vectors of benchmark datasets are already quite informative for the classification task, and the graph structure only provides a means to denoise the data. In this paper, we develop a theoretical framework based on graph signal processing for analyzing graph neural networks. Our results indicate that graph neural networks only perform low-pass filtering on feature vectors and do not have the non-linear manifold learning property. We further investigate their resilience to feature noise and propose some insights on GCN-based graph neural network design.

研究动机与目标

• 激励从图信号处理的角度理解何时 GNNs 在顶点分类中有效。
• 证明标准的 GCN/SGC 操作主要执行低通滤波并对特征进行降噪。
• 将 gfNN 作为一个快速、抗噪的基线引入并与 GCN 和 SGC 进行比较。
• 在理论上刻画基于图的低通滤波对真实特征与噪声特征的影响。

提出的方法

• 用图拉普拉斯算子和广义特征向量来对图信号建模以定义图傅里叶变换。
• 证明使用邻接矩阵/归一化拉普拉斯矩阵的传播实现低通滤波。
• 证明低通滤波近似真实特征恢复和优化解（定理 2、3、7、8）。
• 提出 gfNN（图滤波神经网络）作为两步管线：应用图滤波器，然后用分类器进行学习。
• 在假设 1（真实特征为低频且含有噪声）的前提下，提供低通滤波器的偏差-方差分析。
• 在真实数据集（Cora、Citeseer、Pubmed、Reddit、PPI、Two Circles）和合成数据上进行实验，比较 GCN、SGC、gfNN。

实验结果

研究问题

• RQ1 在假设 1 下（真实特征为低频并带有噪声），GCN、SGC 和 gfNN 的表现是否与在真实特征上训练的模型相似？
• RQ2 由图引起的低通滤波器是否本质上对噪声特征进行降噪，这如何影响学习和对噪声的鲁棒性？
• RQ3 一个简单的 gfNN 基线是否能够达到或超过传统的 GCN/SGC 的性能，同时提供更快的训练速度和更好的噪声容忍度？
• RQ4 在非线性特征空间中，SGC 是否会在非线性 gfNN/GCN 成功时失败，从而说明线性传播的局限性？

主要发现

• 低频分量主要携带分类信息；添加高频分量或噪声可能降低性能。
• 与邻接矩阵/扩充的邻接滤波相乘起到低通滤波作用，在自环存在下将所有特征值单调缩小。
• 在现实假设下，当真实特征为低频时，gfNN 与 GCN 的结果与在真实特征上训练的模型相似。
• gfNN 更快（无训练时图乘法）且对特征噪声比 GCN 更鲁棒。
• SGC 在真实特征上表现得像线性模型，在非线性可分的情形下可能失败，这在非线性设置下 gfNN/GCN 则能成功。
• 实验表明 gfNN 与 SGC 在多个数据集上的准确度与 GCN 相当，并且对噪声的容忍度更高；当噪声较高时，GCN 可能过拟合。