[论文解读] Weakly-supervised Graph Meta-learning for Few-shot Node Classification.

Kaize Ding, Jianling Wang+3 more|arXiv (Cornell University)|Jun 12, 2021

Advanced Graph Neural Networks参考文献 50被引用 5

一句话总结

本文提出 Meta-GHN，一种弱监督图元学习框架，通过从噪声标签、弱监督数据中幻化生成干净的节点表征，提升模型鲁棒性。通过鲁棒的元任务训练，Meta-GHN 学习可迁移的元知识，在标签噪声存在的情况下，显著优于现有方法，在少样本节点分类任务中表现突出。

ABSTRACT

Graphs are widely used to model the relational structure of data, and the research of graph machine learning (ML) has a wide spectrum of applications ranging from drug design in molecular graphs to friendship recommendation in social networks. Prevailing approaches for graph ML typically require abundant labeled instances in achieving satisfactory results, which is commonly infeasible in real-world scenarios since labeled data for newly emerged concepts (e.g., new categorizations of nodes) on graphs is limited. Though meta-learning has been applied to different few-shot graph learning problems, most existing efforts predominately assume that all the data from those seen classes is gold-labeled, while those methods may lose their efficacy when the seen data is weakly-labeled with severe label noise. As such, we aim to investigate a novel problem of weakly-supervised graph meta-learning for improving the model robustness in terms of knowledge transfer. To achieve this goal, we propose a new graph meta-learning framework -- Graph Hallucination Networks (Meta-GHN) in this paper. Based on a new robustness-enhanced episodic training, Meta-GHN is meta-learned to hallucinate clean node representations from weakly-labeled data and extracts highly transferable meta-knowledge, which enables the model to quickly adapt to unseen tasks with few labeled instances. Extensive experiments demonstrate the superiority of Meta-GHN over existing graph meta-learning studies on the task of weakly-supervised few-shot node classification.

研究动机与目标

• 为解决在真实世界场景中缺乏标准标签时，标签数据稀缺且存在噪声的少样本节点分类挑战。
• 通过从弱标签数据中学习，而非假设存在标准标签监督，提升知识迁移中的模型鲁棒性。
• 开发一种元学习框架，能够从噪声标签中幻化生成干净的节点表征，实现在少量标注样本下对未见任务的有效适应。
• 弥合现有元学习方法假设完美监督与图结构数据中存在严重标签噪声的真实世界场景之间的差距。

提出的方法

• Meta-GHN 采用一种新颖的鲁棒元任务训练范式，元学习对标签噪声具有鲁棒性的表征。
• 引入图幻化模块，在元训练过程中从弱标签输入数据中生成干净的节点嵌入。
• 通过在元任务适应过程中优化跨多样化少样本任务的泛化能力，学习可迁移的元知识。
• 利用图神经网络主干网络编码关系归纳偏置，并结合对比学习目标以提升表征质量。
• 训练过程交替进行元任务采样与元优化，模型通过自一致性学习纠正噪声监督。
• 框架端到端训练，以最小化合成与真实弱标签少样本任务上的元损失。

实验结果

研究问题

• RQ1 当训练数据存在显著噪声的弱标签时，图元学习框架能否在少样本节点分类任务中有效泛化？
• RQ2 从噪声标签中幻化生成干净表征，在图学习中如何提升元知识迁移能力？
• RQ3 与标准元学习方法相比，鲁棒元任务训练在标签不确定性下在多大程度上增强了模型泛化能力？
• RQ4 所提出的框架在不同图结构与标签噪声水平下是否保持性能优势？

主要发现

• Meta-GHN 在弱监督少样本节点分类基准上达到最先进性能，显著优于现有图元学习方法。
• 模型对标签噪声表现出强鲁棒性，在监督信号严重受损时仍能保持高准确率。
• 消融实验表明，幻化模块显著提升了表征质量与泛化能力。
• 与标准元学习基线相比，鲁棒元任务训练方案生成了更稳定、更具迁移性的元知识。
• 该框架在不同数据集与噪声水平下均表现出良好泛化能力，表明其在真实世界场景中具有广泛适用性。