[论文解读] PaperQA: Retrieval-Augmented Generative Agent for Scientific Research

Jakub Lála, Odhran O’Donoghue+4 more|arXiv (Cornell University)|Dec 8, 2023

Topic Modeling被引用 51

一句话总结

PaperQA 是一个基于代理的检索增强生成系统，它搜索全文论文，收集证据，并以带引用的方式回答科学问题，在 LitQA 上优于若干 LLM 和商业工具，同时以更低成本达到人类专家水平。

ABSTRACT

Large Language Models (LLMs) generalize well across language tasks, but suffer from hallucinations and uninterpretability, making it difficult to assess their accuracy without ground-truth. Retrieval-Augmented Generation (RAG) models have been proposed to reduce hallucinations and provide provenance for how an answer was generated. Applying such models to the scientific literature may enable large-scale, systematic processing of scientific knowledge. We present PaperQA, a RAG agent for answering questions over the scientific literature. PaperQA is an agent that performs information retrieval across full-text scientific articles, assesses the relevance of sources and passages, and uses RAG to provide answers. Viewing this agent as a question answering model, we find it exceeds performance of existing LLMs and LLM agents on current science QA benchmarks. To push the field closer to how humans perform research on scientific literature, we also introduce LitQA, a more complex benchmark that requires retrieval and synthesis of information from full-text scientific papers across the literature. Finally, we demonstrate PaperQA's matches expert human researchers on LitQA.

研究动机与目标

• 通过利用检索增强生成（RAG）来解决基于 LLM 的科学 QA 中的幻觉与不可重复性挑战。
• 开发一个基于代理的 RAG 工作流，能够迭代地搜索、从全文论文中收集证据，并生成具有起源信息的有根证据的答案。
• 引入 LitQA，一个全文科学 QA 基准，用于评估来自当代文献的检索与综合。
• 证明 PaperQA 在 LitQA 上优于现有 LLM 和商业工具，并在准确性与效率方面接近人类专家的表现。

提出的方法

• 将 RAG 分解为模块化工具（search、gather_evidence、answer_question），由一个代理 LLM 执行。
• 使用 map-reduce 风格的证据收集，结合来自多个来源的信息，并在给出最终答案前提供中间证据。
• 通过 LLM 生成的分数为文本片段分配数值相关性分数，此外还结合向量相似度。
• 整合先验提示和后验提示，以利用潜在知识并改进检索决策。
• 从全文论文检索 4,000 字符块，并用 text-embedding-ada-002 进行嵌入，存储在向量数据库以便检索。
• 实现迭代工具使用（search 和 gather_evidence），直到积累足够证据再回答。
• 使用 LitQA 和标准 QA 基准进行评估；与 GPT-4、Claude-2、AutoGPT 和商业工具比较；评估引用幻觉率。

实验结果

研究问题

• RQ1 与固定、线性 RAG 流水线相比，模块化、基于代理的 RAG 架构是否能提高事实 grounding 并减少科学 QA 的幻觉？
• RQ2 PaperQA 在检索和综合全文科学论文信息以回答需要跨论文推理的问题方面表现如何？
• RQ3 在 LitQA 和标准基准上，PaperQA 相对于人类专家和商业科学 QA 工具的性能与成本权衡如何？
• RQ4 PaperQA 是否比当代基于 LLM 的 QA 系统展示更少的引用幻觉和更好的不确定性处理？

主要发现

• PaperQA 在 LitQA 上优于 GPT-4 及其他商业工具，并在基准测试中的准确性和响应时间上达到人与人类专家相当的水平，同时成本更低。
• PaperQA 显示出较低的引用幻觉发生率（测试案例中为 0%），相比其他存在显著幻觉率的 LLM。
• 在标准 QA 基准测试中，PaperQA 使用 PaperQA 特定的提示和检索，与强基线相比具有竞争力或优越性，包括仅 GPT-4 的情况。
• LitQA 需要从全文论文中检索和综合信息；PaperQA 显示出强大的检索性能和通过其 map-reduce 风格工作流实现的多源证据聚合。
• 消融研究显示多组件的重要性（多轮搜索、证据收集，以及通过一个 ask 步骤利用 LLM 的潜在知识）以获得最佳性能。
• PaperQA 成本高效，使用 GPT-4/GPT-3.5-turbo 配置时每问平均约 0.18 美元，且每批问题大约 2.4 小时（与人类时间相当）。