[论文解读] Reliable, Adaptable, and Attributable Language Models with Retrieval

Akari Asai, Zexuan Zhong+5 more|arXiv (Cornell University)|Mar 5, 2024

Topic Modeling被引用 5

一句话总结

本立场论文主张用检索增强的语言模型取代参数化语言模型，概述其优势（可靠性、适应性、归因）以及通过架构、训练和基础设施的进步克服采用障碍的路线图。

ABSTRACT

Parametric language models (LMs), which are trained on vast amounts of web data, exhibit remarkable flexibility and capability. However, they still face practical challenges such as hallucinations, difficulty in adapting to new data distributions, and a lack of verifiability. In this position paper, we advocate for retrieval-augmented LMs to replace parametric LMs as the next generation of LMs. By incorporating large-scale datastores during inference, retrieval-augmented LMs can be more reliable, adaptable, and attributable. Despite their potential, retrieval-augmented LMs have yet to be widely adopted due to several obstacles: specifically, current retrieval-augmented LMs struggle to leverage helpful text beyond knowledge-intensive tasks such as question answering, have limited interaction between retrieval and LM components, and lack the infrastructure for scaling. To address these, we propose a roadmap for developing general-purpose retrieval-augmented LMs. This involves a reconsideration of datastores and retrievers, the exploration of pipelines with improved retriever-LM interaction, and significant investment in infrastructure for efficient training and inference.

研究动机与目标

• 推动将参数化语言模型转向检索增强语言模型，以应对幻觉、可验证性和适应性的问题。
• 描述检索增强语言模型在减少错误和实现更好归因方面的优势。
• 识别采用障碍并提出覆盖架构、训练与基础设施的路线图。
• 讨论数据存储与检索器应如何改造以支持更广泛的任务适用性。

提出的方法

• 将检索增强的语言模型定义为一个由检索器和语言模型组成的两组件系统，在推理期间使用外部数据存储。
• 提供架构分类（输入增强、中间融合、输出插值）以及如何整合与检索检索文本的方式。
• 讨论训练范式（独立/顺序对联合训练）以及数据存储管理与索引的实际考虑。
• 回顾以往工作中通过检索实现的实证发现，显示更少的事实错误、更好的归因与提高的适应性。
• 提出一个包含三个聚焦领域的路线图：重新思考相关性与数据存储、增强检索器-语言模型交互、构建可扩展的基础设施。

Figure 1: Parametric LMs (top) internalize large-scale text data in their parameters via massive pre-training, while retrieval-augmented LMs (bottom) incorporate text retrieved from a massive datastore at test time.

实验结果

研究问题

• RQ1 除了知识密集型任务，何谓有帮助的检索文本，数据存储应如何设计以支持更广泛的任务？
• RQ2 如何促进检索器与语言模型之间的更深层次交互，以克服浅提示的局限性？
• RQ3 为有效扩展检索增强语言模型，需要哪些基础设施与训练策略？
• RQ4 数据存储设计与检索策略如何在跨领域提升归因与适应性？

主要发现

• 检索增强的语言模型可以通过利用外部文本而非记忆化参数来降低事实错误并提升事实性。
• 推理过程中的检索证据相较于事后解释更有助于归因。
• 这些模型在选择性使用/不使用检索文本方面具有灵活性，并通过数据存储更新可以轻松适应新数据分布。
• 数据存储设计与检索策略使领域定制成为可能，在某些知识任务上甚至能胜过领域特定的微调。
• 通过将内存转移到数据存储，达到参数效率，使较小的语言模型能够与更大规模的参数模型竞争。

Figure 2: Taxonomy of architectures of retrieval-augmented LMs.