[论文解读] Old can be Gold: Better Gradient Flow can Make Vanilla-GCNs Great Again

Ajay Jaiswal, Peihao Wang+4 more|arXiv (Cornell University)|Oct 14, 2022

Advanced Graph Neural Networks被引用 4

一句话总结

本文提出，梯度流不佳，而不仅仅是过平滑，是导致深层普通GCN性能下降的原因。通过引入拓扑感知等距初始化和基于梯度的动态重布线机制（结合跳跃连接），作者显著改善了梯度流，使普通GCN在不增加架构复杂度的情况下，在引文网络上实现了最先进性能。

ABSTRACT

Despite the enormous success of Graph Convolutional Networks (GCNs) in modeling graph-structured data, most of the current GCNs are shallow due to the notoriously challenging problems of over-smoothening and information squashing along with conventional difficulty caused by vanishing gradients and over-fitting. Previous works have been primarily focused on the study of over-smoothening and over-squashing phenomena in training deep GCNs. Surprisingly, in comparison with CNNs/RNNs, very limited attention has been given to understanding how healthy gradient flow can benefit the trainability of deep GCNs. In this paper, firstly, we provide a new perspective of gradient flow to understand the substandard performance of deep GCNs and hypothesize that by facilitating healthy gradient flow, we can significantly improve their trainability, as well as achieve state-of-the-art (SOTA) level performance from vanilla-GCNs. Next, we argue that blindly adopting the Glorot initialization for GCNs is not optimal, and derive a topology-aware isometric initialization scheme for vanilla-GCNs based on the principles of isometry. Additionally, contrary to ad-hoc addition of skip-connections, we propose to use gradient-guided dynamic rewiring of vanilla-GCNs} with skip connections. Our dynamic rewiring method uses the gradient flow within each layer during training to introduce on-demand skip-connections adaptively. We provide extensive empirical evidence across multiple datasets that our methods improve gradient flow in deep vanilla-GCNs and significantly boost their performance to comfortably compete and outperform many fancy state-of-the-art methods. Codes are available at: https://github.com/VITA-Group/GradientGCN.

研究动机与目标

• 探究尽管理论上具备表达能力，深层普通GCN为何表现不佳，重点关注反向传播过程中的梯度流问题。
• 挑战在GCN中普遍使用的Glorot初始化方法，该方法可能损害深层架构中的梯度流。
• 提出一种基于逐层梯度流的有原则的动态注入跳跃连接的方法，以提升训练性。
• 证明当配备改进的梯度流机制时，简单的普通GCN可实现最先进性能。

提出的方法

• 利用图拉普拉斯矩阵和度信息，推导出适用于普通GCN的拓扑感知等距初始化方法，以在各层间保持信号稳定性。
• 将每层内梯度的p-范数定义为梯度流的度量指标，用于在训练过程中识别训练不佳的层。
• 提出一种基于梯度的动态重布线机制，仅在梯度信号微弱的层中自适应地添加跳跃连接。
• 将新初始化方法与动态重布线机制无缝集成到标准GCN训练流程中，不修改核心架构，也不增加额外参数。
• 使用狄利克雷能量作为代理指标，衡量嵌入的表达能力，并追踪方法在训练过程中对表达能力的保持情况。
• 在多个数据集（Cora、PubMed、Citeseer）上，采用标准GCN设置和最先进基线方法对方法进行评估。

实验结果

研究问题

• RQ1 梯度流不佳是否显著影响深层普通GCN的可训练性和性能？
• RQ2 与标准Glorot初始化相比，拓扑感知初始化是否能提升普通GCN中的梯度流和性能？
• RQ3 基于梯度流的动态跳跃连接注入是否比静态或临时设定的跳跃连接在深层GCN中更有效？
• RQ4 当配备改进的梯度流机制时，普通GCN能否实现最先进性能？

主要发现

• 所提出的拓扑感知等距初始化显著改善了深层普通GCN中的梯度流，使所有基准数据集上的收敛速度加快，性能提升。
• 基于梯度的动态重布线机制成功识别并强化了训练不佳的层，减少了反向传播过程中梯度接近零的层数量。
• 改进的初始化与动态重布线相结合，有效维持了各层间的狄利克雷能量，防止了训练过程中嵌入表达能力的损失。
• 在Cora、PubMed和Citeseer数据集上，该方法仅使用普通GCN即实现了最先进或接近最先进性能，优于许多复杂的GNN架构。
• 该方法减少了标准GCN中观察到的狄利克雷能量指数衰减现象，有效保持了深层中节点表示的多样性与表达能力。