[论文解读] PairNorm: Tackling Oversmoothing in GNNs

Lingxiao Zhao, Leman Akoglu|arXiv (Cornell University)|Sep 26, 2019

Advanced Graph Neural Networks参考文献 19被引用 158

一句话总结

PairNorm 引入了一种快速、零参数的归一化层，能够防止深层 GNN 的过度平滑，使更深的模型（GCN、GAT、SGC）在性能不下降的情况下变得可用，并在特征缺失场景中显示出益处。

ABSTRACT

The performance of graph neural nets (GNNs) is known to gradually decrease with increasing number of layers. This decay is partly attributed to oversmoothing, where repeated graph convolutions eventually make node embeddings indistinguishable. We take a closer look at two different interpretations, aiming to quantify oversmoothing. Our main contribution is PairNorm, a novel normalization layer that is based on a careful analysis of the graph convolution operator, which prevents all node embeddings from becoming too similar. What is more, PairNorm is fast, easy to implement without any change to network architecture nor any additional parameters, and is broadly applicable to any GNN. Experiments on real-world graphs demonstrate that PairNorm makes deeper GCN, GAT, and SGC models more robust against oversmoothing, and significantly boosts performance for a new problem setting that benefits from deeper GNNs. Code is available at https://github.com/LingxiaoShawn/PairNorm.

研究动机与目标

• 研究深度 GNN 中的过度平滑现象并量化其对节点表示的影响。
• 提出一种通用的归一化层，防止远距节点嵌入变得过于相似。
• 开发一种简单、与架构无关且无参数的放置在 GNN 层之间的方法。
• 在真实图数据及特征缺失场景（SSNC-MV）中展示 PairNorm 的有效性。

提出的方法

• 将图卷积分析为拉普拉斯平滑的一种形式，并将其与图正则化最小二乘视角（GRLS）相关联。
• 将 PairNorm 定义为两步中心化再缩放的归一化，在各层之间保持恒定的总成对平方距离（TPSD）。
• 通过减去平均表示来中心化，然后缩放使 TPSD 保持恒定（由超参数 s 控制）。
• 提供一个可选的 PairNorm-si 变体，强制每个节点具有固定的 L2 范数。
• 在每个图卷积层之后应用 PairNorm（最后一层除外），并在 SGC、GCN、GAT 上进行评估；与残差连接进行比较。
• 讨论一个现实场景（SSNC-MV），其中更深的 GNN 更有益且 PairNorm 显示出收益。

实验结果

研究问题

• RQ1 随着层数增加，过度平滑如何导致表示变得难以区分？
• RQ2 一个简单的逐层归一化能否在不改变网络架构的情况下防止跨簇的特征混合？
• RQ3 PairNorm 是否能使 SGC、GCN、GAT 的更深版本保持或提高精度？
• RQ4 在跨数据集的缺失特征半监督节点分类（SSNC-MV）中，PairNorm 的表现如何？
• RQ5 在哪些设定下，配备 PairNorm 的更深 GNN 能带来最大的收益（如缺失特征场景）？

主要发现

• PairNorm 使深层 GCN、GAT 和 SGC 模型对过度平滑更加鲁棒，随着层数增加，性能下降减缓。
• 在特征缺失设置下，PairNorm 使更深的模型恢复性能并超过原生基线，特别是在缺失率较高时。
• PairNorm 快速，易实现，且不引入额外参数，作为层之间的通用归一化层。
• PairNorm-si 通常为 GCN 和 GAT 带来稳定改进，而标准的 PairNorm 对于 SGC 表现良好。
• 在常见基准数据集上，极深的网络带来的绝对增益有限，但 PairNorm 使更深的网络在现实场景中（缺失特征）具备优势。
• 本研究还探讨了 SSNC-MV，表明在特征缺失情况下，使用 PairNorm 的更深结构可以超越较浅的原生模型。