[论文解读] Research Trends for the Interplay between Large Language Models and Knowledge Graphs

Khorashadizadeh Hanieh, Amalia Zahra+8 more|arXiv (Cornell University)|Jun 12, 2024

Topic Modeling被引用 6

一句话总结

本综述分析大型语言模型（LLMs）与知识图谱（KGs）之间的交互，涵盖KG到文本、本体生成、验证和KG问答，并概述协作模式与未来研究方向。

ABSTRACT

This survey investigates the synergistic relationship between Large Language Models (LLMs) and Knowledge Graphs (KGs), which is crucial for advancing AI's capabilities in understanding, reasoning, and language processing. It aims to address gaps in current research by exploring areas such as KG Question Answering, ontology generation, KG validation, and the enhancement of KG accuracy and consistency through LLMs. The paper further examines the roles of LLMs in generating descriptive texts and natural language queries for KGs. Through a structured analysis that includes categorizing LLM-KG interactions, examining methodologies, and investigating collaborative uses and potential biases, this study seeks to provide new insights into the combined potential of LLMs and KGs. It highlights the importance of their interaction for improving AI applications and outlines future research directions.

研究动机与目标

• 识别现有关于LLMs和KGs的综述中的空白，并提出新的观点。
• 考察LLMs如何生成描述性KG文本和查询，以及它们如何帮助本体创建与验证。
• 在LLMs存在的情境下探索KG的验证、一致性与事实核查。
• 研究基于LLM驱动的方法在KG完成、嵌入和推理中的应用。
• 提出LLM-KG交互的分类法，并概述未解决的挑战与未来研究方向。

提出的方法

• 对LLM-KG交互进行结构化文献分析。
• 将交互分为三类：用于KG的LLMs、KG增强的LLMs以及LLM-KG协作。
• 对KG到文本、本体提取/验证以及KG完成/嵌入的方法进行综述。
• 讨论在LLM辅助的KG任务中的偏见、错误信息风险与可靠性考量。
• 综合开放挑战与提出的未来研究方向。

Figure 1: The interplay between LLMs and KGs categorization

实验结果

研究问题

• RQ1 如何利用LLMs为KG中的实体生成描述性文本信息？
• RQ2 如何在本体生成及相关任务（概念/关系提取、富集、对齐，以及文本到本体的映射）中使用LLMs？
• RQ3 LLMs如何帮助检测KG中的不一致性并改进事实核查以提升准确性和完整性？
• RQ4 通过事实核查与验证方法，LLMs如何提升KG的准确性、一致性和完整性？
• RQ5 如何有效地将LLMs用于从文本生成自然语言查询（文本到SPARQL/Cypher），并支持KG问答？
• RQ6 LLMs如何为KG问答提供准确的答案？

主要发现

• LLM-KG交互的三分法分类：用于KG的LLMs、KG增强的LLMs，以及LLM-KG协作。
• 通过编码器修改、文本线性化以及图注意表示来生成描述性KG文本，进行KG到文本生成。
• 通过LLMs的本体创建与丰富包括概念/关系提取、属性识别、对齐以及文本到本体的映射。
• KG完成与嵌入受益于基于文本的LLM方法（KG-BERT、GenKGC、SimKGC）以及非微调策略（KICGPT）。
• 讨论基于LLMs的事实核查与不一致性检测，强调错误信息风险以及需要外部知识或工具来缓解幻觉。
• LLMs在改进实体提取、关系提取和KG推理规则生成方面具有潜力，但面临计算和偏见挑战。

Figure 2: LLMs and KGs used in papers