[论文解读] The Snowflake Hypothesis: Training Deep GNN with One Node One Receptive field

Kun Wang, Guohao Li+7 more|arXiv (Cornell University)|Aug 19, 2023

Advanced Graph Neural NetworksComputer Science被引用 3

一句话总结

该论文提出了雪花假说（Snowflake Hypothesis），一种基于每个节点应具有唯一、自适应感受野原则的深度图神经网络（GNN）新型训练范式。通过使用基于梯度的信号和节点级别的余弦距离，动态剪枝邻接矩阵并为每个节点实现聚合过程的早期停止，该方法有效缓解了过平滑问题，实现了深度GNN（最高达64层）的稳定训练，在多个基准测试和主干网络（包括JKNet、ResGCN和GIN）上均取得了最先进性能。

ABSTRACT

Despite Graph Neural Networks demonstrating considerable promise in graph representation learning tasks, GNNs predominantly face significant issues with over-fitting and over-smoothing as they go deeper as models of computer vision realm. In this work, we conduct a systematic study of deeper GNN research trajectories. Our findings indicate that the current success of deep GNNs primarily stems from (I) the adoption of innovations from CNNs, such as residual/skip connections, or (II) the tailor-made aggregation algorithms like DropEdge. However, these algorithms often lack intrinsic interpretability and indiscriminately treat all nodes within a given layer in a similar manner, thereby failing to capture the nuanced differences among various nodes. To this end, we introduce the Snowflake Hypothesis -- a novel paradigm underpinning the concept of ``one node, one receptive field''. The hypothesis draws inspiration from the unique and individualistic patterns of each snowflake, proposing a corresponding uniqueness in the receptive fields of nodes in the GNNs. We employ the simplest gradient and node-level cosine distance as guiding principles to regulate the aggregation depth for each node, and conduct comprehensive experiments including: (1) different training schemes; (2) various shallow and deep GNN backbones, and (3) various numbers of layers (8, 16, 32, 64) on multiple benchmarks (six graphs including dense graphs with millions of nodes); (4) compare with different aggregation strategies. The observational results demonstrate that our hypothesis can serve as a universal operator for a range of tasks, and it displays tremendous potential on deep GNNs. It can be applied to various GNN frameworks, enhancing its effectiveness when operating in-depth, and guiding the selection of the optimal network depth in an explainable and generalizable way.

研究动机与目标

• 为解决深度GNN中的过平滑和过拟合问题，这些问题是限制模型深度和性能的主要因素。
• 克服现有方法（如残差连接和边丢弃策略）的局限性，这些方法对所有节点一视同仁，缺乏可解释性。
• 通过实现节点特定的聚合深度，开发一种可泛化、可解释且可扩展的深度GNN训练方法。
• 在多种GNN架构、训练方案和图类型（包括大规模密集图）上验证所提方法的有效性。

提出的方法

• 提出雪花假说：GNN中的每个节点都应具有唯一、个性化的感受野，灵感来源于雪花的独特性。
• 利用隐藏表示之间的梯度幅值和节点级别余弦距离作为信号，判断每个节点何时停止消息传递。
• 基于这些信号实施元素级邻接矩阵剪枝，实现每个节点的聚合深度早期停止。
• 将该方法作为通用算子集成到多种GNN主干网络（如GCN、GIN、GAT、JKNet、ResGCN）中，无需修改网络架构。
• 使用标准训练方案，逐步增加模型深度（8、16、32、64层）进行训练，早期停止由余弦距离阈值引导。
• 在六个基准图数据集（包括Cora、PubMed和引文网络）上，于多种设置下评估性能。

实验结果

研究问题

• RQ1 基于节点特定的自适应感受野策略，是否能比统一的聚合策略更有效地减少深度GNN中的过平滑？
• RQ2 基于梯度和余弦距离信号的动态早期停止，是否能提升不同架构下深度GNN的泛化能力和性能？
• RQ3 所提方法是否可无架构修改地通用应用于不同GNN主干网络和训练方案？
• RQ4 与标准GCN和最先进深度GNN相比，该方法在极深GNN（如64层）上的表现如何？
• RQ5 该方法的性能在多大程度上依赖于图的同质性？其在低同质性图中表现如何？

主要发现

• SnoHv2在8层模型下于Cora（85.68%）、PubMed（86.56%）和citepseer（73.24%）上达到最先进性能，优于GCN和其他基线模型。
• 在16层模型中，SnoHv2保持强劲性能（Cora上为84.19%，PubMed上为85.79%），展现出在深度设置下的稳定性。
• 在32层模型中，SnoHv2在Cora上达到83.09%，在PubMed上达到84.06%，显著优于GCN（80.33%和83.76%）及其他剪枝基线方法。
• 该方法在主干网络间具有良好的泛化能力：SnoHv2在PubMed和citepseer上提升了GIN和GAT模型的性能，表明其优势不仅限于GCN。
• 即使在低同质性图（如Arxiv，同质性为0.635）中，SnoHv2仍保持具有竞争力的性能，表明其对异质性的鲁棒性。
• 该方法实现了64层GNN的稳定训练，且深层中剪枝率逐渐升高，表明部分节点的浅层聚合已足够。