[论文解读] ResNorm: Tackling Long-tailed Degree Distribution Issue in Graph Neural Networks via Normalization

Langzhang Liang, Zenglin Xu+4 more|arXiv (Cornell University)|Jun 16, 2022

Advanced Graph Neural Networks被引用 5

一句话总结

ResNorm 是一种用于图神经网络的新归一化方法，通过缩放操作和自定义的节点级偏移操作，重塑节点标准差（NStd）分布，以解决长尾节点度分布问题。它通过减少性能差异和缓解过平滑现象，提升了尾部节点的性能，在多种 GNN 主干网络和基准测试中实现了显著的准确率提升。

ABSTRACT

Graph Neural Networks (GNNs) have attracted much attention due to their ability in learning representations from graph-structured data. Despite the successful applications of GNNs in many domains, the optimization of GNNs is less well studied, and the performance on node classification heavily suffers from the long-tailed node degree distribution. This paper focuses on improving the performance of GNNs via normalization. In detail, by studying the long-tailed distribution of node degrees in the graph, we propose a novel normalization method for GNNs, which is termed ResNorm ( extbf{Res}haping the long-tailed distribution into a normal-like distribution via extbf{norm}alization). The $scale$ operation of ResNorm reshapes the node-wise standard deviation (NStd) distribution so as to improve the accuracy of tail nodes ( extit{i}. extit{e}., low-degree nodes). We provide a theoretical interpretation and empirical evidence for understanding the mechanism of the above $scale$. In addition to the long-tailed distribution issue, over-smoothing is also a fundamental issue plaguing the community. To this end, we analyze the behavior of the standard shift and prove that the standard shift serves as a preconditioner on the weight matrix, increasing the risk of over-smoothing. With the over-smoothing issue in mind, we design a $shift$ operation for ResNorm that simulates the degree-specific parameter strategy in a low-cost manner. Extensive experiments have validated the effectiveness of ResNorm on several node classification benchmark datasets.

研究动机与目标

• 解决由长尾节点度分布引起的 GNN 性能差异问题，其中低度数（尾部）节点持续表现不佳。
• 在不修改图结构或依赖复杂架构改动的前提下，提升尾部节点的分类准确率。
• 设计一种轻量级、通用的归一化模块，可轻松集成到现有 GNN 架构中。
• 通过基于度数感知的偏移机制，缓解标准偏移操作在深层 GNN 中加剧的过平滑问题。
• 在多种 GNN 模型和节点分类基准上验证所提归一化方法的有效性。

提出的方法

• ResNorm 引入缩放操作，重塑节点标准差（NStd）分布，以缩小头部节点与尾部节点之间的差距，从而隐式归一化节点度分布。
• 该缩放操作基于影响分布分析，解释了其如何增强表示多样性并提升低度数节点的泛化能力。
• 设计了一种新型的节点级偏移操作，以替代标准偏移操作，避免导致奇异值缩小的预处理效应，降低过平滑风险。
• 该节点级偏移以低成本方式模拟了度数特定的参数策略，在保持模型表达能力的同时稳定了训练过程。
• ResNorm 作为即插即用模块，应用于每个 GNN 层之后，兼容多种 GNN 主干网络，包括 GCN、APPNP、DeepGCN 和 GCNII。
• 采用标准节点分类基准（Cora、Citeseer、PubMed、Coauthor-CS、Amazon-Photo）对方法进行评估，涵盖多种模型深度和配置。

实验结果

研究问题

• RQ1 长尾节点度分布如何影响 GNN 的性能，特别是对尾部节点的影响？
• RQ2 一种通过重塑 NStd 分布的归一化技术，是否能在不修改架构的前提下提升低度数节点的分类准确率？
• RQ3 为何归一化中的标准偏移操作会加剧深层 GNN 中的过平滑问题，以及如何缓解这一问题？
• RQ4 ResNorm 在多种 GNN 架构和数据集上能实现多大程度的性能提升？
• RQ5 像 ResNorm 这样轻量级、通用的归一化模块，能否有效应用于最先进的深层 GNN，以同时提升尾部节点和整体性能？

主要发现

• 在 GCN+PairNorm 上应用 ResNorm 时，Cora 数据集上的测试准确率提升了 32.5%，显著优于基线模型。
• 在 Citeseer 数据集上，ResNorm+GCN+PairNorm 的性能相比基线提升了 90.0%，在具有挑战性的长尾数据集上表现出强劲增益。
• ResNorm+APPNP 相比仅使用 APPNP 提升了 3.1%，表明该方法在原始设计中未包含归一化的模型中也具有有效性。
• 消融实验确认，标准偏移会增加过平滑风险，而 ResNorm 的节点级偏移在深层架构中保持了稳定性能。
• 在 DeepGCN 和 GCNII 等深层 GNN 中，ResNorm 持续提升了尾部节点和整体的准确率，验证了其在不同模型家族中的泛化能力。
• 缩放操作有效重塑了 NStd 分布，且与低方差（尾部）节点的分类准确率提升呈正相关。