[论文解读] Transductive Linear Probing: A Novel Framework for Few-Shot Node Classification

Zhen Tan, Song Wang+3 more|arXiv (Cornell University)|Dec 11, 2022

Domain Adaptation and Few-Shot Learning被引用 4

一句话总结

本文提出了一种新型的直推式线性探针（TLP）框架，用于少样本节点分类，该框架将图对比学习（GCL）预训练的节点嵌入迁移至线性分类器，并在少量标记节点上进行微调。令人惊讶的是，即使在预训练阶段完全无真实标签的情况下，采用自监督GCL预训练的TLP仍优于最先进元学习方法，证明了其在低监督设置下的鲁棒性与可迁移性。

ABSTRACT

Few-shot node classification is tasked to provide accurate predictions for nodes from novel classes with only few representative labeled nodes. This problem has drawn tremendous attention for its projection to prevailing real-world applications, such as product categorization for newly added commodity categories on an E-commerce platform with scarce records or diagnoses for rare diseases on a patient similarity graph. To tackle such challenging label scarcity issues in the non-Euclidean graph domain, meta-learning has become a successful and predominant paradigm. More recently, inspired by the development of graph self-supervised learning, transferring pretrained node embeddings for few-shot node classification could be a promising alternative to meta-learning but remains unexposed. In this work, we empirically demonstrate the potential of an alternative framework, extit{Transductive Linear Probing}, that transfers pretrained node embeddings, which are learned from graph contrastive learning methods. We further extend the setting of few-shot node classification from standard fully supervised to a more realistic self-supervised setting, where meta-learning methods cannot be easily deployed due to the shortage of supervision from training classes. Surprisingly, even without any ground-truth labels, transductive linear probing with self-supervised graph contrastive pretraining can outperform the state-of-the-art fully supervised meta-learning based methods under the same protocol. We hope this work can shed new light on few-shot node classification problems and foster future research on learning from scarcely labeled instances on graphs.

研究动机与目标

• 为解决元学习在少样本节点分类中的局限性，特别是其对大量基础类别标签和课程式训练的依赖。
• 探究是否可将图对比学习（GCL）预训练的节点嵌入迁移作为元学习的可行替代方案。
• 在元学习因标签稀缺而不可行的真实自监督设置下，评估TLP的性能。
• 分析监督信号在GCL预训练中对少样本节点分类的影响。
• 提供实证证据，表明可泛化的GNN编码器是少样本节点分类的关键。

提出的方法

• TLP将通过图对比学习（GCL）预训练的节点嵌入迁移至在线性分类器，该分类器在来自新类别的少量支持集上进行微调。
• 该框架在直推设置下运行，利用完整的图结构在推理阶段提升预测准确性。
• 提出两种变体：使用自监督GCL的TLP（如GraphCL、SUGRL）和使用有监督GCL的TLP（如GraphCL*）。
• 该方法绕过课程式训练和元优化，转而依赖GCL学习表示的泛化能力。
• 节点表示通过在线性头进行微调，使用支持集上的交叉熵损失，而GNN编码器保持冻结。
• 实验在六个真实世界数据集上，采用相同的评估协议，对比TLP与元学习基线方法。

实验结果

研究问题

• RQ1 在预训练阶段完全无标签数据的情况下，直推式线性探针结合自监督GCL预训练是否能在少样本节点分类中优于元学习？
• RQ2 在GCL预训练阶段存在或不存在标签，对TLP在少样本节点分类中的性能有何影响？
• RQ3 为何元学习方法在类别较少的数据集（如CiteSeer）上表现较差，而TLP如何缓解此问题？
• RQ4 通过GCL学习的节点表示质量在多大程度上决定了少样本分类的成功？
• RQ5 在低标签场景下，元学习与TLP框架之间是否存在可扩展性与适应性之间的权衡？

主要发现

• 在CoraFull和CiteSeer上，即使预训练阶段未使用任何真实标签，采用自监督GCL预训练的TLP仍优于最先进元学习方法。
• 在CiteSeer上，元学习与TLP之间的性能差距大于在CoraFull上，表明元学习因标签多样性有限，在类别较少时表现更差。
• 采用自监督GCL的TLP在聚类性能上优于采用有监督GCL的TLP，表明避免标签偏差可提升对新类别的泛化能力。
• t-SNE可视化显示，TLP学习到的节点表示比元学习更具判别性与可分性，尤其在CiteSeer上表现更优。
• TLP在所有数据集上的NMI和ARI分数均持续高于元学习，尤其在CiteSeer上提升最大。
• TLP在低监督设置下展现出更优的可扩展性与泛化能力，凸显其作为元学习实用替代方案的潜力。