[论文解读] Stability and Generalization of Graph Convolutional Neural Networks

Saurabh Verma, Zhi-Li Zhang|arXiv (Cornell University)|May 3, 2019

Advanced Graph Neural Networks参考文献 53被引用 12

一句话总结

该论文通过证明图卷积滤波器的最大绝对特征值决定了算法稳定性，首次建立了图卷积神经网络（GCNNs）中算法稳定性与泛化能力之间的理论联系。研究证明，经过归一化的滤波器（如对称归一化拉普拉斯矩阵）能确保稳定性与泛化能力，而未经归一化的滤波器（如未归一化的邻接矩阵或拉普拉斯矩阵）由于特征值随图大小增长而失效。

ABSTRACT

Inspired by convolutional neural networks on 1D and 2D data, graph convolutional neural networks (GCNNs) have been developed for various learning tasks on graph data, and have shown superior performance on real-world datasets. Despite their success, there is a dearth of theoretical explorations of GCNN models such as their generalization properties. In this paper, we take a first step towards developing a deeper theoretical understanding of GCNN models by analyzing the stability of single-layer GCNN models and deriving their generalization guarantees in a semi-supervised graph learning setting. In particular, we show that the algorithmic stability of a GCNN model depends upon the largest absolute eigenvalue of its graph convolution filter. Moreover, to ensure the uniform stability needed to provide strong generalization guarantees, the largest absolute eigenvalue must be independent of the graph size. Our results shed new insights on the design of new & improved graph convolution filters with guaranteed algorithmic stability. We evaluate the generalization gap and stability on various real-world graph datasets and show that the empirical results indeed support our theoretical findings. To the best of our knowledge, we are the first to study stability bounds on graph learning in a semi-supervised setting and derive generalization bounds for GCNN models.

研究动机与目标

• 为解决GCNN中泛化与稳定性理论理解的缺乏，特别是在半监督设置下的问题。
• 将算法稳定性确立为GCNN模型泛化保证的理论基础。
• 识别决定稳定性的关键谱性质——图滤波器的最大绝对特征值。
• 为归一化技术（如批量归一化）在GCNN中的应用提供理论依据。
• 在真实世界图数据集上对理论发现进行实证验证。

提出的方法

• 在半监督学习设置下，利用算法稳定性理论分析单层GCNN。
• 基于图卷积滤波器的最大绝对特征值（或奇异值）推导稳定性边界。
• 应用一致稳定性标准，将滤波器的谱特性与泛化性能关联起来。
• 以对称归一化图拉普拉斯矩阵和基于随机游走的滤波器作为稳定滤波器的典型示例。
• 使用固定学习率和批量大小为1的随机梯度下降（SGD）在引文网络上训练模型。
• 将泛化差距度量为训练误差与测试误差的绝对差值，并通过扰动一个数据点后权重差异的L2范数来衡量权重参数的不稳定性。

实验结果

研究问题

• RQ1 图卷积滤波器的谱特性如何影响GCNN的算法稳定性？
• RQ2 在何种条件下，GCNN模型能实现一致稳定性，从而获得强泛化保证？
• RQ3 为何归一化图滤波器（如对称归一化拉普拉斯矩阵）在稳定性与泛化能力方面优于未归一化滤波器？
• RQ4 能否在真实世界图数据集上对基于特征值分析推导出的理论稳定性边界进行实证验证？
• RQ5 归一化（如批量归一化）在确保GCNN的稳定性与泛化能力方面起什么作用？

主要发现

• 单层GCNN的一致稳定性关键取决于其图卷积滤波器的最大绝对特征值。
• 只有当最大绝对特征值不随图大小变化时，GCNN模型才能实现一致稳定性和强泛化保证。
• 如对称归一化拉普拉斯矩阵和基于随机游走的滤波器等归一化图滤波器，因其最大特征值不随图大小增长而保持有界，满足稳定性条件。
• 未归一化的滤波器（如未归一化邻接矩阵或拉普拉斯矩阵）的特征值随图大小增长，导致不稳定性和泛化能力差。
• 在Citeseer、Cora和PubMed数据集上的实证结果表明，与归一化滤波器相比，未归一化滤波器的泛化差距显著更大，且权重参数不稳定性更高。
• 尽管理论边界较为保守，但归一化滤波器中权重参数差异收敛至固定值的现象表明，这些边界虽保守但依然有效。