[论文解读] Trends in Integration of Knowledge and Large Language Models: A Survey and Taxonomy of Methods, Benchmarks, and Applications

Zhangyin Feng, Weitao Ma+8 more|arXiv (Cornell University)|Nov 10, 2023

Topic Modeling被引用 8

一句话总结

本综述通过知识编辑和检索增强探讨与大规模语言模型的知识整合，给出方法学、基准和应用的分类体系，并讨论未来方向。

ABSTRACT

Large language models (LLMs) exhibit superior performance on various natural language tasks, but they are susceptible to issues stemming from outdated data and domain-specific limitations. In order to address these challenges, researchers have pursued two primary strategies, knowledge editing and retrieval augmentation, to enhance LLMs by incorporating external information from different aspects. Nevertheless, there is still a notable absence of a comprehensive survey. In this paper, we propose a review to discuss the trends in integration of knowledge and large language models, including taxonomy of methods, benchmarks, and applications. In addition, we conduct an in-depth analysis of different methods and point out potential research directions in the future. We hope this survey offers the community quick access and a comprehensive overview of this research area, with the intention of inspiring future research endeavors.

研究动机与目标

• 为将外部知识与LLMs整合建立一个全面的分类体系。
• 系统分析知识编辑和检索增强方法。
• 总结该领域的基准、评估标准与应用。
• 识别关键挑战与未来研究方向。

提出的方法

• 将现有工作组织成知识编辑与检索增强的分类体系（图1）。
• 将知识编辑细分为输入编辑、模型编辑和对编辑知识的评估。
• 沿着检索判断、文献检索、文献利用、知识冲突以及基准来考察检索增强。
• 对编辑知识和检索知识的代表性方法、数据集和评估标准进行综述。
• 讨论前沿应用并提出未来研究方向。

实验结果

研究问题

• RQ1 在将知识与LLMs整合方面，主要趋势和类别是什么？
• RQ2 知识编辑与检索增强有何区别、子类型和基准？
• RQ3 有哪些将这些整合应用的实例，未来工作还存在哪些挑战？
• RQ4 有哪些用于知识编辑与检索增强的评估基准，它们提供了哪些见解？

主要发现

• 本文对围绕知识编辑与检索增强的当前工作给出具体组织。
• 它提出包括输入编辑、模型编辑、评估知识编辑，以及检索判断、文献检索、文献利用等在内的分类体系。
• 它综述了在与LLMs的知识整合方面的代表性方法、基准和应用。
• 它讨论了知识存储、编辑的精准性、跨语言迁移等挑战，并强调未来的研究方向。