[论文解读] Small Models, Big Insights: Leveraging Slim Proxy Models To Decide When and What to Retrieve for LLMs

Jiejun Tan, Zhicheng Dou+4 more|arXiv (Cornell University)|Feb 19, 2024

Private Equity and Venture Capital被引用 4

一句话总结

本文提出SlimPLM，一种利用小型代理语言模型来判断大语言模型（LLMs）何时以及检索何种知识的方法，从而减少不必要的检索并降低推理成本。通过代理模型生成启发式答案，SlimPLM识别知识缺失并生成有针对性的检索查询，在五个问答数据集上实现了最先进性能，同时降低了LLM的推理成本。

ABSTRACT

The integration of large language models (LLMs) and search engines represents a significant evolution in knowledge acquisition methodologies. However, determining the knowledge that an LLM already possesses and the knowledge that requires the help of a search engine remains an unresolved issue. Most existing methods solve this problem through the results of preliminary answers or reasoning done by the LLM itself, but this incurs excessively high computational costs. This paper introduces a novel collaborative approach, namely SlimPLM, that detects missing knowledge in LLMs with a slim proxy model, to enhance the LLM's knowledge acquisition process. We employ a proxy model which has far fewer parameters, and take its answers as heuristic answers. Heuristic answers are then utilized to predict the knowledge required to answer the user question, as well as the known and unknown knowledge within the LLM. We only conduct retrieval for the missing knowledge in questions that the LLM does not know. Extensive experimental results on five datasets with two LLMs demonstrate a notable improvement in the end-to-end performance of LLMs in question-answering tasks, achieving or surpassing current state-of-the-art models with lower LLM inference costs.

研究动机与目标

• 为解决大语言模型在何时需要检索以避免不必要的计算和无关结果的挑战。
• 降低现有检索增强生成（RAG）方法中因依赖多次LLM推理而产生的高计算成本。
• 通过轻量级代理模型识别知识缺口，提升基于LLM的问答准确率与效率。
• 仅对缺失知识执行选择性、有针对性的检索，最大限度降低延迟与资源消耗。

提出的方法

• 使用参数远少于主LLM的小型代理语言模型，为每个用户问题生成启发式答案。
• 通过轻量级模型评估启发式答案的质量，以判断是否需要检索。
• 高质量的启发式答案表明LLM已具备足够知识，可避免检索；低质量答案则触发检索。
• 将启发式答案分解为反映具体知识缺口的子问题，进而生成有针对性的检索查询。
• 仅将需要检索的查询传递给检索系统，确保获取相关且聚焦的知识。
• 该方法可无缝集成至现有RAG框架，计算开销极小，且无需微调主LLM。

实验结果

研究问题

• RQ1 小型代理模型能否有效检测大语言模型中的知识缺口？
• RQ2 使用代理模型是否能在保持或提升性能的同时降低检索增强生成的计算成本？
• RQ3 小型模型生成的启发式答案能否引导生成针对缺失知识的精确检索查询？
• RQ4 SlimPLM在准确率与推理成本方面相较于最先进RAG方法的表现如何？
• RQ5 代理模型对检索必要性的判断在多样化的问答数据集上是否具有鲁棒性？

主要发现

• SlimPLM仅使用小型代理模型和极少的LLM推理，在五个基准问答数据集上达到或超越最先进性能。
• 该方法通过避免LLM独立可回答的问题进行检索，显著降低了LLM推理成本。
• 代理模型生成的启发式答案在识别知识缺口方面表现有效，对检索需求的检测具有一致性。
• 从子问题生成的针对性查询提升了检索的相关性与下游答案质量。
• 该方法保持了低延迟与低计算开销，适用于实时应用场景。
• 实证结果表明，相比基线RAG方法，性能显著提升，尤其在减少幻觉与检索噪声方面效果明显。