[论文解读] Revisiting Graph Convolutional Network on Semi-Supervised Node Classification from an Optimization Perspective

Hongwei Zhang, Tijin Yan+3 more|arXiv (Cornell University)|Sep 24, 2020

Advanced Graph Neural Networks参考文献 57被引用 9

一句话总结

本文从优化视角重新审视图卷积网络（GCNs），将深层GCNs中的过平滑现象归因于求解过程中的朴素一阶近似。提出了一种新型卷积核GCN+，基于通用优化框架设计，有效缓解过平滑问题，在半监督节点分类任务中以更少参数实现最先进性能。

ABSTRACT

Graph convolutional networks (GCNs) have achieved promising performance on various graph-based tasks. However they suffer from over-smoothing when stacking more layers. In this paper, we present a quantitative study on this observation and develop novel insights towards the deeper GCN. First, we interpret the current graph convolutional operations from an optimization perspective and argue that over-smoothing is mainly caused by the naive first-order approximation of the solution to the optimization problem. Subsequently, we introduce two metrics to measure the over-smoothing on node-level tasks. Specifically, we calculate the fraction of the pairwise distance between connected and disconnected nodes to the overall distance respectively. Based on our theoretical and empirical analysis, we establish a universal theoretical framework of GCN from an optimization perspective and derive a novel convolutional kernel named GCN+ which has lower parameter amount while relieving the over-smoothing inherently. Extensive experiments on real-world datasets demonstrate the superior performance of GCN+ over state-of-the-art baseline methods on the node classification tasks.

研究动机与目标

• 理解深层GCNs中过平滑现象的根本原因，超越经验观察。
• 基于优化原理，建立GCNs的统一理论框架。
• 设计一种新型图卷积核GCN+，其本身可缓解过平滑问题，同时减少参数数量。
• 引入用于量化图结构数据中节点层面过平滑程度的度量方法。
• 在真实世界节点分类基准上，通过实证验证GCN+相较于最先进方法的优越性能。

提出的方法

• 将GCN操作重新表述为对节点表示的正则化优化问题的求解。
• 识别出标准GCN源于对真实解的一阶近似，该近似丢失了关键信息，导致过平滑。
• 提出两个度量：$M_{\textit{smooth}}$ 用于衡量相连节点间成对距离占总距离的比例，以及一个用于衡量不相连节点的互补度量。
• 通过在不进行一阶简化的情况下求解完整优化问题，推导出GCN+作为新型卷积核。
• 施加三个约束：(a) 保留原始节点特征，(b) 鼓励相连节点之间的相似性，(c) 强制不相连节点之间保持差异性。
• 采用对称归一化和随机游走归一化处理邻接矩阵（$\tilde{A}_{\text{sym}}, \tilde{A}_{\text{rw}}$），并通过幂迭代实现稳定传播。

实验结果

研究问题

• RQ1 从理论优化角度，深层GCNs中过平滑现象的根本原因是什么？
• RQ2 如何在节点层面而非全局范围内量化过平滑现象？
• RQ3 能否通过精确求解底层优化问题，而非近似求解，来推导出更精确的图卷积核？
• RQ4 基于完整优化框架推导出的卷积核是否能在参数更少的前提下，优于标准GCN和最先进基线方法？
• RQ5 超参数如$\alpha$、$\beta$以及幂迭代次数如何影响GCN+的性能？

主要发现

• GCN+在多个真实世界数据集（包括Cora、PubMed和Citeseer）上达到最先进性能，优于GCN、GAT和SGC等最先进方法。
• 度量$M_{\textit{smooth}}$显示，GCN+在增加传播跳数时仍保持低且稳定的平滑度值，表明其对过平滑具有强鲁棒性。
• 当$\beta \neq 0$（即引入对不相连节点的正则化）时，GCN+的性能优于$\beta = 0$的变体，证实了第三条约束的有效性。
• 在所有实验中，对称归一化（$\tilde{A}_{\text{sym}}$）的性能略优于随机游走归一化（$\tilde{A}_{\text{rw}}$）。
• 最优超参数如$\alpha = 9$（即保留10%原始特征）和$k = 16$或$32$次幂迭代，可在Cora数据集上最大化测试准确率。
• GCN+在显著减少参数数量的同时，仍实现更优性能，证明其在不损失准确率的前提下具备出色的参数效率。