[论文解读] Zero-shot and Few-shot Learning with Knowledge Graphs: A Comprehensive Survey

Jiaoyan Chen, Yuxia Geng+6 more|arXiv (Cornell University)|Dec 18, 2021

Domain Adaptation and Few-Shot Learning被引用 6

一句话总结

本篇全面综述系统性地回顾了超过90种面向零样本学习（ZSL）与少样本学习（FSL）的、具备知识图谱（KG）感知能力的方法，将其系统性地划分为基于映射、数据增强、基于传播和基于优化四种类别。研究结果表明，KG通过注入符号化、关系性和语义性知识，显著提升了模型的泛化能力，尤其通过类别属性、文本描述和结构化关系事实，从而在图像分类、文本分类和知识补全任务中实现性能提升。

ABSTRACT

Machine learning especially deep neural networks have achieved great success but many of them often rely on a number of labeled samples for supervision. As sufficient labeled training data are not always ready due to e.g., continuously emerging prediction targets and costly sample annotation in real world applications, machine learning with sample shortage is now being widely investigated. Among all these studies, many prefer to utilize auxiliary information including those in the form of Knowledge Graph (KG) to reduce the reliance on labeled samples. In this survey, we have comprehensively reviewed over 90 papers about KG-aware research for two major sample shortage settings -- zero-shot learning (ZSL) where some classes to be predicted have no labeled samples, and few-shot learning (FSL) where some classes to be predicted have only a small number of labeled samples that are available. We first introduce KGs used in ZSL and FSL as well as their construction methods, and then systematically categorize and summarize KG-aware ZSL and FSL methods, dividing them into different paradigms such as the mapping-based, the data augmentation, the propagation-based and the optimization-based. We next present different applications, including not only KG augmented prediction tasks such as image classification, question answering, text classification and knowledge extraction, but also KG completion tasks, and some typical evaluation resources for each task. We eventually discuss some challenges and open problems from different perspectives.

研究动机与目标

• 提供对90余种面向零样本与少样本学习（ZSL/FSL）的、具备知识图谱（KG）感知能力的方法在多样化领域中的系统性综述。
• 分析KG如何通过利用符号化、关系性和语义性知识，减少对标注数据的依赖，从而提升模型泛化能力。
• 识别在KG增强型ZSL/FSL中使用的关键方法范式——基于映射、数据增强、基于传播和基于优化。
• 评估现有基准，指出在评估协议、知识覆盖范围以及跨任务与KG设置下的泛化能力方面存在的差距。
• 概述KG感知型ZSL/FSL中的开放挑战与未来研究方向，尤其针对动态、模式丰富且复杂的知识环境。

提出的方法

• 将KG感知型ZSL/FSL方法划分为四大主要范式：基于映射（如特征空间投影）、数据增强（如利用KG生成合成样本）、基于传播（如在KG上使用GNN）、基于优化（如结合KG指导的元学习）。
• 回顾KG构建技术，包括从文本、表格和网络源中提取知识，以及使用预存在的KG如NELL和WordNet。
• 分析KG与深度学习模型的融合，特别是在视觉与自然语言处理任务中，通过将视觉/文本特征与KG嵌入的类别表示对齐。
• 通过在OntoZSL和DeViSE上的消融研究，评估不同KG语义（如文本描述、属性、RDFS模式）对模型性能的影响。
• 提出一个框架，用于在不同任务（如图像分类、文本分类、KG补全）和KG配置下，对KG感知型ZSL/FSL方法进行基准测试。
• 提出一种知识注入的分类体系：从类别级属性到关系事实与本体模式，强调符号化知识与神经嵌入之间的互补性。

实验结果

研究问题

• RQ1 不同基于KG的范式（基于映射、数据增强、基于传播、基于优化）如何提升零样本与少样本学习的性能？
• RQ2 哪些KG语义类型——如文本描述、属性、RDFS模式——在ZSL与FSL中最具效果地提升模型泛化能力？
• RQ3 KG增强型方法在图像分类、文本分类、问答和知识图谱补全等多样化任务中如何实现泛化？
• RQ4 当前KG感知型ZSL/FSL基准的关键局限与开放挑战是什么，特别是在知识覆盖范围、质量以及任务可迁移性方面？
• RQ5 KG如何与元学习和基于GNN的模型有效结合，以提升少样本学习的泛化能力？

主要发现

• KG增强型ZSL/FSL方法通过利用关系性和符号化知识，在多个基准上实现了最先进性能，尤其在使用丰富类别描述和结构化事实时表现突出。
• KG中使用文本和基于属性的知识显著提升了零样本泛化能力，例如OntoZSL在图像与文本分类任务中表现优异。
• 基于数据增强与传播的方法通过生成语义上合理的训练样本并增强实体间特征传播，提升了少样本学习性能。
• 结合元学习与KG检索（如通过NELL）可提升少样本文本分类性能，通过构建任务特定的关系网络，凸显了动态知识集成的价值。
• 当前基准在范围上存在局限，通常依赖固定KG，且缺乏对知识质量、覆盖范围与任务多样性方面的系统性评估，凸显了构建更全面、标准化评估框架的迫切需求。
• 尽管已有进展，但在将KG与端到端模型整合方面仍面临挑战，尤其在动态或模式丰富的环境（如生命科学领域或基于OWL的知识图谱）中。