[论文解读] Scattering GCN: Overcoming Oversmoothness in Graph Convolutional Networks

Yimeng Min, Frederik Wenkel+1 more|arXiv (Cornell University)|Mar 18, 2020

Advanced Graph Neural Networks被引用 56

一句话总结

本文提出 Scattering GCN，一种结合图卷积网络和图几何散射的混合模型，旨在缓解过平滑问题并在节点分类中提升性能，尤其是在高度连通的图上。

ABSTRACT

Graph convolutional networks (GCNs) have shown promising results in processing graph data by extracting structure-aware features. This gave rise to extensive work in geometric deep learning, focusing on designing network architectures that ensure neuron activations conform to regularity patterns within the input graph. However, in most cases the graph structure is only accounted for by considering the similarity of activations between adjacent nodes, which limits the capabilities of such methods to discriminate between nodes in a graph. Here, we propose to augment conventional GCNs with geometric scattering transforms and residual convolutions. The former enables band-pass filtering of graph signals, thus alleviating the so-called oversmoothing often encountered in GCNs, while the latter is introduced to clear the resulting features of high-frequency noise. We establish the advantages of the presented Scattering GCN with both theoretical results establishing the complementary benefits of scattering and GCN features, as well as experimental results showing the benefits of our method compared to leading graph neural networks for semi-supervised node classification, including the recently proposed GAT network that typically alleviates oversmoothing using graph attention mechanisms.

研究动机与目标

• 在面向节点级任务的深层图卷积网络（GCN）中提出动机并解决过平滑问题。
• 将低通 GCN 行为与带通几何散射相结合，以保留判别性节点信息。
• 通过理论与实验证明散射特征与 GCN 特征的互补优势。
• 在标准半监督节点分类基准上评估所提出的混合体系结构。

提出的方法

• 回顾用于图卷积和滤波的图信号处理及谱图理论基础。
• 引入基于懒惰随机游走 P 和小波 Ψk 的图形散射，获得带通表示。
• 按元组 p 定义节点级散射传播 U_p 和节点级激活 H^ℓ = σ(U_p H^ℓ−1 Θ^ℓ)。
• 提出一个混合网络，在每一层将 GCN 通道与散射通道连接（Eq. 7）。
• 引入图残差卷积 A_res(α) 以控制高频噪声并稳定训练（H^{ℓ+1} 的方程）。
• 使用逐节点应用的近似 ReLU 非线性 σ(. ) = | . |^q， 并为所有通道学习权重和偏置。

实验结果

研究问题

• RQ1 通过将图几何散射加入到 GCN 中，是否可以在保持判别性节点信息的同时缓解过平滑？
• RQ2 带通散射通道是否提供超出低通 GCN 滤波器的对节点分类的互补信息？
• RQ3 在不同训练规模下，Scattering GCN 相对于最先进的 GNN 在标准半监督基准上的表现如何？

主要发现

• Scattering GCN 在 Citeseer、Cora、Pubmed 和 DBLP 数据集上优于若干基线，DBLP 相对于 GAT 呈现显著提升。
• 该方法在标记数据减少时表现出稳定性，随着训练规模缩小仍保持比比较对象更高的准确性。
• 带通散射通道提供传统 GCN 滤波器未捕捉的信息，有助于在局部邻域相似的节点上进行判别。
• 混合模型通常超过纯 GCN 基线和纯散射基线，验证了两者的互补优势。