[论文解读] Toward Robust Graph Semi-Supervised Learning against Extreme Data Scarcity

Kaize Ding, Elnaz Nouri+3 more|arXiv (Cornell University)|Aug 26, 2022

Advanced Graph Neural Networks被引用 4

一句话总结

该论文提出AGST，一种新颖的图自训练框架，通过引入结构和语义数据增强模块，在极端数据稀缺条件下提升了半监督节点分类的鲁棒性。通过解耦消息传递并使用拓扑增强函数减少噪声、改善长距离特征传播，AGST在低样本基准上实现了SOTA性能，相较于基线模型准确率最高提升3.2%。

ABSTRACT

The success of graph neural networks on graph-based web mining highly relies on abundant human-annotated data, which is laborious to obtain in practice. When only few labeled nodes are available, how to improve their robustness is a key to achieve replicable and sustainable graph semi-supervised learning. Though self-training has been shown to be powerful for semi-supervised learning, its application on graph-structured data may fail because (1) larger receptive fields are not leveraged to capture long-range node interactions, which exacerbates the difficulty of propagating feature-label patterns from labeled nodes to unlabeled nodes; and (2) limited labeled data makes it challenging to learn well-separated decision boundaries for different node classes without explicitly capturing the underlying semantic structure. To address the challenges of capturing informative structural and semantic knowledge, we propose a new graph data augmentation framework, AGST (Augmented Graph Self-Training), which is built with two new (i.e., structural and semantic) augmentation modules on top of a decoupled GST backbone. In this work, we investigate whether this novel framework can learn a robust graph predictive model under the low-data context. We conduct comprehensive evaluations on semi-supervised node classification under different scenarios of limited labeled-node data. The experimental results demonstrate the unique contributions of the novel data augmentation framework for node classification with few labeled data.

研究动机与目标

• 解决在仅有少量标注节点时图半监督学习中泛化能力差的挑战。
• 克服长距离消息传递中因过度压缩和噪声图结构导致的结构瓶颈。
• 通过捕捉分离良好的决策边界，缓解低数据环境下不可靠伪标签带来的语义瓶颈。
• 设计一个鲁棒框架，在自训练过程中增强对结构和语义知识的利用。
• 在真实世界中人类标注数据有限的场景下，提升模型的鲁棒性和性能。

提出的方法

• 提出一种解耦的GNN主干网络，其中教师模型使用个性化PageRank执行高阶标签传播以生成伪标签。
• 引入一个结构化数据增强模块，每轮GST迭代中应用确定性的拓扑优化函数，以减少噪声并改善长距离信息流。
• 采用弱监督对比损失，通过鼓励具有相同伪标签的节点特征聚类，增强语义知识。
• 使用一个拓扑增强函数，根据学习到的模型置信度动态调整图结构，通过超参数βₐ和βᵣ控制边的添加和删除比例。
• 在加权目标函数中结合伪标签节点的交叉熵损失与对比损失，通过超参数λ₁和λ₂平衡监督信号与对比信号。
• 将结构和语义增强整合到统一的AGST框架中，以在极端数据稀缺条件下提升泛化能力。

Figure 1. Overview of the proposed framework. In each training iteration, AGST first perform high-order label propagation to generate pseudo labels on unlabeled nodes, then conduct feature transformation with the augmented training label set. In the meantime, a weakly-supervised contrastive loss is

实验结果

研究问题

• RQ1 通过优化图拓扑的结构化数据增强是否能改善长距离消息传递并减少低数据图半监督学习中的过度压缩？
• RQ2 在标注数据极度有限时，弱监督对比学习是否能增强决策边界的分离性？
• RQ3 所提出的结构和语义增强组件在数据稀缺条件下对模型鲁棒性的个体贡献与联合贡献如何？
• RQ4 哪些超参数设置（如λ₁、λ₂、βₐ、βᵣ）能在不同低样本图基准上实现最优性能？
• RQ5 AGST在极端数据稀缺条件下是否在准确率和稳定性方面均优于现有GST基线？

主要发现

• AGST在Cora和CiteSeer上均达到SOTA性能，在5-shot设置下相较于最强基线准确率最高提升3.2%。
• 在Cora（5-shot）上，AGST达到82.57±0.22%的准确率，比次佳方法高出1.8%。
• 在CiteSeer（5-shot）上，AGST达到71.52±0.11%的准确率，较基线提升1.1%。
• 消融实验证实，弱监督对比损失与拓扑增强函数均至关重要，任一移除均导致性能显著下降。
• 最优超参数为λ₁=1且λ₂=0.1，βₐ≈0.4且βᵣ≈0.2时在Cora上实现峰值性能。
• 拓扑增强在CiteSeer等噪声图上可使性能提升高达2.5%，证明其在缓解结构噪声方面的有效性。

(a) Cora