[论文解读] On Asymptotic Behaviors of Graph CNNs from Dynamical Systems Perspective

Kenta Oono, Taiji Suzuki|arXiv (Cornell University)|Jan 1, 2019

Advanced Graph Neural Networks参考文献 31被引用 17

一句话总结

本文通过将图卷积网络（GCN）的前向传播建模为动力系统，研究其渐近行为，揭示GCN会指数收敛至一个极限状态，此时节点表征仅依赖于连通分量和节点度数。主要贡献是建立了一个将GCN表达能力与图谱特性相联系的理论框架，进而提出一种基于谱图理论的有原则的权重归一化策略，显著提升了真实数据上的性能。

ABSTRACT

Graph Neural Networks (graph NNs) are a promising deep learning approach for analyzing graph-structured data. However, it is known that they do not improve (or sometimes worsen) their predictive performance as we pile up many layers and add non-lineality. To tackle this problem, we investigate the expressive power of graph NNs via their asymptotic behaviors as the layer size tends to infinity. Our strategy is to generalize the forward propagation of a Graph Convolutional Network (GCN), which is a popular graph NN variant, as a specific dynamical system. In the case of a GCN, we show that when its weights satisfy the conditions determined by the spectra of the (augmented) normalized Laplacian, its output exponentially approaches the set of signals that carry of the connected components and node degrees only for distinguishing nodes. Our theory enables us to relate the expressive power of GCNs with the topological of the underlying graphs inherent in the graph spectra. To demonstrate this, we characterize the asymptotic behavior of GCNs on the Erdős -- Renyi graph. We show that when the Erdős -- Renyi graph is sufficiently dense and large, a broad range of GCNs on it suffers from the information loss in the limit of infinite layers with high probability. Based on the theory, we provide a principled guideline for weight normalization of graph NNs. We experimentally confirm that the proposed weight scaling enhances the predictive performance of GCNs in real data. Code is available at this https URL.

研究动机与目标

• 理解为何深层GCN在层数增加时性能常无法提升甚至下降。
• 分析当层数趋于无穷时GCN的渐近行为。
• 建立GCN表达能力与底层图谱特性之间的理论联系。
• 识别GCN在无限深度极限下发生信息丢失的条件。
• 基于谱图理论推导一种有原则的权重归一化策略，以增强GCN性能。

提出的方法

• 将GCN的前向传播建模为由图的归一化拉普拉斯矩阵导出的线性常微分方程（ODE）所控制的连续时间动力系统。
• 在与扩展归一化拉普拉斯矩阵的特征值相关的特定权重约束下，分析该动力系统的稳定性和收敛性。
• 表征当层数趋于无穷时GCN输出的极限，表明其收敛至仅依赖于连通分量和节点度数的信号。
• 将理论框架应用于Erdős–Rényi随机图，研究在不同密度和规模下的渐近行为。
• 基于归一化拉普拉斯矩阵的谱半径推导一种权重归一化规则，以防止过早收敛和信息丢失。
• 通过在真实世界图数据集上的实验验证所提出的归一化方法，证明其能显著提升预测性能。

实验结果

研究问题

• RQ1 当层数趋于无穷时，GCN的输出行为如何？其极限行为由什么决定？
• RQ2 在图拉普拉斯矩阵的何种谱条件下，GCN会在无限深度极限下丢失节点可区分性信息？
• RQ3 在Erdős–Rényi随机图中，当图变得大而密集时，GCN在多大程度上会因信息丢失而表现下降？
• RQ4 GCN的渐近行为能否被用于设计更优的权重初始化或归一化方案？
• RQ5 所提出的基于谱的权重归一化是否能提升真实世界图数据集上GCN的性能？

主要发现

• 在与图谱相关的特定权重条件下，GCN输出会指数收敛至一个极限，此时节点表征仅依赖于连通分量和节点度数。
• 在足够密集且庞大的Erdős–Rényi图中，大量GCN在无限深度极限下以高概率发生信息丢失。
• 理论分析表明，GCN的表达能力从根本上受限于归一化拉普拉斯矩阵的谱特性。
• 所提出的基于谱约束的权重归一化策略显著提升了真实世界数据集上GCN的性能。
• 实证结果证实，经归一化的GCN相比标准GCN实现了更优的预测性能，验证了理论洞见。
• 收敛至节点信号的低维子空间限制了深层GCN区分节点的能力，尤其在高连通图中更为显著。