[论文解读] When Large Language Models Meet Vector Databases: A Survey

Zhi Jing, Yongye Su+6 more|arXiv (Cornell University)|Jan 30, 2024

Topic Modeling被引用 13

一句话总结

本综述分析向量数据库（VecDBs）如何通过实现检索增强生成（retrieval-augmented generation）和记忆来解决大型语言模型（LLMs）的限制（幻觉、知识过时、成本），并对当前技术和未来方向进行综述。

ABSTRACT

This survey explores the synergistic potential of Large Language Models (LLMs) and Vector Databases (VecDBs), a burgeoning but rapidly evolving research area. With the proliferation of LLMs comes a host of challenges, including hallucinations, outdated knowledge, prohibitive commercial application costs, and memory issues. VecDBs emerge as a compelling solution to these issues by offering an efficient means to store, retrieve, and manage the high-dimensional vector representations intrinsic to LLM operations. Through this nuanced review, we delineate the foundational principles of LLMs and VecDBs and critically analyze their integration's impact on enhancing LLM functionalities. This discourse extends into a discussion on the speculative future developments in this domain, aiming to catalyze further research into optimizing the confluence of LLMs and VecDBs for advanced data handling and knowledge extraction capabilities.

研究动机与目标

• 解释将LLMs与VecDBs结合以克服幻觉、记忆限制和成本障碍的动机。
• 综述LLMs和VecDBs的基础原理以及它们的整合如何提升LLM的功能。
• 总结检索增强生成（RAG）范式及其实际应用。
• 讨论多模态、数据管理和可扩展性方面的挑战与未来方向。

提出的方法

• 回顾LLMs和向量数据库的发展与挑战。
• 描述向量搜索技术以及ANN索引（如HNSW）的作用。
• 解释VecDBs如何在RAG中作为外部知识库、语义缓存和LLMs的记忆。

实验结果

研究问题

• RQ1 VecDBs如何缓解LLMs中的幻觉和知识过时？
• RQ2 将VecDBs用作LLMs的外部知识库和记忆的利弊有哪些？
• RQ3 哪些实际的体系结构（如RAG）和优化措施利用VecDBs来提升LLM性能和成本效率？
• RQ4 在多模态、数据预处理和系统集成方面，LLM+VecDB解决方案面临的关键挑战有哪些？

主要发现

• VecDBs为LLMs提供了可扩展的外部记忆，实现高效检索和数据管理。
• 结合VecDBs的RAG可以降低幻觉并在不频繁重新训练的情况下支持领域特定知识。
• VecDBs可以作为成本效益高的语义缓存，减少LLM应用的API调用和延迟。
• VecDBs提供一个记忆层，通过维护更新的向量来应对LLMs的遗忘问题以回答查询。
• 该综述讨论了多模态扩展和提升RAG系统的检索优化。
• 识别了若干挑战，包括混合搜索集成、多租户以及数据维度/处理方面的担忧。