[论文解读] Search-o1: Agentic Search-Enhanced Large Reasoning Models

Xiaoxi Li, Guanting Dong+6 more|arXiv (Cornell University)|Jan 9, 2025

Semantic Web and Ontologies被引用 3

一句话总结

tldr: Search-o1 集成一个具备代理性的检索增强生成机制和一个在文档中推理的模块，以在长步推理过程中动态获取并精炼外部知识，从而提升大型推理模型的连贯性与可信度。

ABSTRACT

Large reasoning models (LRMs) like OpenAI-o1 have demonstrated impressive long stepwise reasoning capabilities through large-scale reinforcement learning. However, their extended reasoning processes often suffer from knowledge insufficiency, leading to frequent uncertainties and potential errors. To address this limitation, we introduce extbf{Search-o1}, a framework that enhances LRMs with an agentic retrieval-augmented generation (RAG) mechanism and a Reason-in-Documents module for refining retrieved documents. Search-o1 integrates an agentic search workflow into the reasoning process, enabling dynamic retrieval of external knowledge when LRMs encounter uncertain knowledge points. Additionally, due to the verbose nature of retrieved documents, we design a separate Reason-in-Documents module to deeply analyze the retrieved information before injecting it into the reasoning chain, minimizing noise and preserving coherent reasoning flow. Extensive experiments on complex reasoning tasks in science, mathematics, and coding, as well as six open-domain QA benchmarks, demonstrate the strong performance of Search-o1. This approach enhances the trustworthiness and applicability of LRMs in complex reasoning tasks, paving the way for more reliable and versatile intelligent systems. The code is available at \url{https://github.com/sunnynexus/Search-o1}.

研究动机与目标

• 在长序列推理中解决大型推理模型的知识不足问题。
• 实现可在推理会话中按需触发的外部知识检索，并可迭代地在推理过程中触发。
• 通过专门的 refinement 模块降低来自长篇检索文档的噪声和连贯性下降。
• 在科学、数学、编码和开域问答基准的复杂推理任务中展示改善的性能。

提出的方法

• 引入一个具备代理性的检索增强生成（RAG）机制，在检测到知识缺口时生成检索查询。
• 对每个检索查询检索前k篇文档，并将它们注入到推理链中的特定标记之间。
• 新增一个在文档中推理（Reason-in-Documents）模块，分析检索到的文档并在重新插入推理流程前生成精炼知识。
• 将推理过程形式化为在任务指令、问题和检索文档条件下的推理步骤与最终答案的联合分布。
• 提供两阶段 refinement： (i) 对检索到的文档生成中间推理，(ii) 生成用于指导后续推理的精炼知识。

实验结果

研究问题

• RQ1 在多步推理中如何实现按需的外部知识自动检索且不破坏连贯性？
• RQ2 具代理性的检索是否优于仅一次性检索知识或不能按步骤知识需求自适应的标准RAG？
• RQ3 单独的在文档中推理模块是否能降低噪声并改善将检索信息整合到推理链中的效果？
• RQ4 Search-o1对复杂推理领域和开域问答基准有何影响？

主要发现

• Search-o1 在科学、数学和编码等复杂推理任务上取得显著性能。
• Search-o1 同样提升了六项开域问答基准的结果。
• 具代理性的 RAG 搭配在文档中推理模块能在引入外部知识的同时维持推理的连贯性。
• 该方法提升了在复杂推理任务中对大型语言模型的可信度与适用性。
• 该框架在跨多个领域展现出效率与可扩展性。