[论文解读] On the Equivalence of Decoupled Graph Convolution Network and Label Propagation

Hande Dong, Jiawei Chen+5 more|arXiv (Cornell University)|Oct 23, 2020

Advanced Graph Neural Networks参考文献 46被引用 10

一句话总结

本文证明了解耦图卷积网络（GCNs）在理论上等价于两步标签传播过程：首先将已知标签传播以生成未标记节点的伪标签，然后在增强的数据上训练神经网络。该方法对结构噪声和过平滑的鲁棒性源于对伪标签进行结构与模型感知的自适应加权，而对标签噪声和初始化的敏感性亦被揭示；基于此洞察，作者提出了PTA，一种新型自适应标签传播方法，相较于现有解耦GCNs在准确率和鲁棒性方面均有提升。

ABSTRACT

The original design of Graph Convolution Network (GCN) couples feature transformation and neighborhood aggregation for node representation learning. Recently, some work shows that coupling is inferior to decoupling, which supports deep graph propagation better and has become the latest paradigm of GCN (e.g., APPNP and SGCN). Despite effectiveness, the working mechanisms of the decoupled GCN are not well understood. In this paper, we explore the decoupled GCN for semi-supervised node classification from a novel and fundamental perspective -- label propagation. We conduct thorough theoretical analyses, proving that the decoupled GCN is essentially the same as the two-step label propagation: first, propagating the known labels along the graph to generate pseudo-labels for the unlabeled nodes, and second, training normal neural network classifiers on the augmented pseudo-labeled data. More interestingly, we reveal the effectiveness of decoupled GCN: going beyond the conventional label propagation, it could automatically assign structure- and model- aware weights to the pseudo-label data. This explains why the decoupled GCN is relatively robust to the structure noise and over-smoothing, but sensitive to the label noise and model initialization. Based on this insight, we propose a new label propagation method named Propagation then Training Adaptively (PTA), which overcomes the flaws of the decoupled GCN with a dynamic and adaptive weighting strategy. Our PTA is simple yet more effective and robust than decoupled GCN. We empirically validate our findings on four benchmark datasets, demonstrating the advantages of our method. The code is available at https://github.com/DongHande/PT_propagation_then_training.

研究动机与目标

• 为了理解解耦GCNs的内在机制，尽管其已成为GCN的新范式，但理论分析仍较为有限。
• 为了探究为何解耦GCNs对结构噪声和过平滑具有鲁棒性，却对标签噪声和模型初始化敏感。
• 为了设计一种新型标签传播方法，通过引入对伪标签数据的自适应加权，克服解耦GCNs的局限性。
• 为了建立解耦GCNs与两步标签传播过程（标签传播后接神经网络训练）之间的理论等价性。

提出的方法

• 理论分析证明，解耦GCNs的训练阶段在数学上等价于首先在图上跨传播已知标签，以生成未标记节点的伪标签。
• 第二阶段涉及在原始标注数据与生成的伪标注数据组合数据集上训练标准的神经网络分类器。
• 该方法基于两个原则，动态分配伪标注节点的自适应权重：与标注节点的距离，以及伪标签与模型预测之间的不一致程度。
• 所提出的PTA（Propagation then Training Adaptive）方法实现了这一自适应加权策略，提升了鲁棒性与性能。
• 该模型采用两阶段流程：首先通过标签传播生成伪标签，随后通过自适应损失加权进行端到端训练。
• 通过梯度比较验证了理论等价性，表明解耦GCN与所提出的两步标签传播框架具有相同的优化动态。

实验结果

研究问题

• RQ1 解耦GCNs与标签传播之间是否存在根本性的理论等价性？
• RQ2 为何解耦GCN对结构噪声和过平滑具有鲁棒性，却对标签噪声和模型初始化敏感？
• RQ3 能否通过标签传播的视角解释解耦GCN的有效性，以及这能提供何种洞见？
• RQ4 能否设计一种新型标签传播方法，保留解耦GCN的优势，同时克服其局限性？

主要发现

• 解耦GCNs的训练过程在理论上等价于两步标签传播：首先传播已知标签以生成未标记节点的伪标签，然后在增强数据上训练神经网络。
• 解耦GCNs的有效性源于通过标签传播进行数据增强，从而在小规模标注数据集上减少过拟合。
• 解耦GCNs对伪标注数据施加结构与模型感知的权重，使更接近标注节点的节点获得更高权重，而伪标签与模型预测存在冲突的节点则获得较低权重。
• 这种自适应加权解释了解耦GCNs对图结构噪声和过平滑的鲁棒性，因为模型会降低不可靠伪标签的权重。
• 该方法对标签噪声和模型初始化敏感，因为伪标签直接源自初始标签和图结构，可能导致错误传播。
• 所提出的PTA方法在四个基准数据集上均优于解耦GCNs，在准确率、鲁棒性和效率方面表现更优，验证了理论洞察。