[论文解读] Negative Sampling in Knowledge Graph Representation Learning: A Review

Tiroshan Madushanka, Ryutaro Ichise|arXiv (Cornell University)|Feb 29, 2024

Artificial Intelligence in Healthcare被引用 7

一句话总结

对知识图表示学习中的负采样方法进行系统性综述，将静态方法和动态方法分为五类，并概述尚待解决的研究挑战。

ABSTRACT

Knowledge Graph Representation Learning (KGRL), or Knowledge Graph Embedding (KGE), is essential for AI applications such as knowledge construction and information retrieval. These models encode entities and relations into lower-dimensional vectors, supporting tasks like link prediction and recommendation systems. Training KGE models relies on both positive and negative samples for effective learning, but generating high-quality negative samples from existing knowledge graphs is challenging. The quality of these samples significantly impacts the model's accuracy. This comprehensive survey paper systematically reviews various negative sampling (NS) methods and their contributions to the success of KGRL. Their respective advantages and disadvantages are outlined by categorizing existing NS methods into six distinct categories. Moreover, this survey identifies open research questions that serve as potential directions for future investigations. By offering a generalization and alignment of fundamental NS concepts, this survey provides valuable insights for designing effective NS methods in the context of KGRL and serves as a motivating force for further advancements in the field.

研究动机与目标

• 解释为什么负采样对KGRL至关重要，以及采样质量如何影响嵌入。
• 提供跨静态、动态和基于辅助数据的负采样方法的结构化分类。
• 分析负采样方法在效率、有效性、稳定性、独立性、质量等属性上的表现。
• 总结负采样在KGRL中的开放研究问题与未来方向。

提出的方法

• 进行以PRISMA为指导的关于KGRL中负采样方法的系统文献综述，覆盖多个数据库与ArXiv。
• 提出五大类负采样方法的分类体系（静态NS、动态NS、外部模型驱动、辅助数据驱动、混合NS）。
• 详细描述基于噪声对比估计（NCE）及典型打分函数的正负采样的KGRL框架。
• 为高质量负样本和NS记号定义标准符号与概念。
• 从五个维度评估负采样方法：效率、有效性、稳定性、独立性和质量。

实验结果

研究问题

• RQ1 在KGRL中使用的负采样方法的主要类别及子类别有哪些？
• RQ2 静态与动态NS方法在效率、有效性和质量方面的比较如何？
• RQ3 知识图嵌入中负采样的开放研究挑战与未来方向有哪些？
• RQ4 NCE框架如何应用于KGRL并影响负样本生成？

主要发现

• 本文提供了对NS方法的全面分类，将其分为五大类及多个子类别。
• 负采样质量显著影响KGE训练及下游任务，在效率、稳定性与独立性之间存在权衡。
• 一个形式化框架和记号标准化了NS讨论，包括高质量负样本和从S̄(h,r,t)采样。
• 基于PRISMA的评审过程在各个刊物和arXiv上筛选出47篇相关论文，概述了历史与当代的NS技术。
• 本文讨论了通用KGRL框架及平移距离（translational distance）和语义匹配模型的目标形式。
• 它指出没有任何单一NS方法能完全同时满足所有理想属性（效率、有效性、稳定性、独立性、质量），强调了权衡。