[论文解读] Search-in-the-Chain: Interactively Enhancing Large Language Models with Search for Knowledge-intensive Tasks

Shicheng Xu, Liang Pang+3 more|arXiv (Cornell University)|Apr 28, 2023

Data Quality and Management被引用 7

一句话总结

本文提出 Search-in-the-Chain (SearChain)，一种通过动态树状推理过程集成交互式检索的框架，以增强大语言模型（LLMs）在知识密集型任务中的表现。SearChain 使 LLM 能够生成全局的 Chain-of-Query (CoQ)，其中信息检索（IR）通过基于置信度的反馈验证并修正答案或补充缺失知识，从而提升准确性、可信度与可追溯性——在多跳问答、事实核查及长文本生成任务中优于基线模型。

ABSTRACT

Making the content generated by Large Language Model (LLM), accurate, credible and traceable is crucial, especially in complex knowledge-intensive tasks that require multi-step reasoning and each step needs knowledge to solve. Retrieval-augmented generation is good potential to solve this problem. However, where and how to introduce Information Retrieval (IR) to LLM is a big challenge. Previous work has the problems that wrong knowledge retrieved by IR misleads the LLM and interaction between IR and LLM breaks the reasoning chain of LLM. This paper proposes a novel framework named extbf{Search-in-the-Chain} (SearChain) for the interaction between LLM and IR to solve the challenges. First, LLM generates the reasoning chain named Chain-of-Query (CoQ) where each node consists of an IR-oriented query-answer pair. Second, IR verifies the answer of each node of CoQ. It corrects the answer that is not consistent with the retrieved information when IR gives high confidence, which improves the credibility. Third, LLM can indicate its missing knowledge in CoQ and rely on IR to provide this knowledge to LLM. These operations improve the accuracy in terms of reasoning and knowledge. Finally, SearChain generates the reasoning process and marks references to supporting documents for each reasoning step, which improves traceability. Interaction with IR in SearChain forms a novel reasoning path based on a tree, which enables LLM to dynamically modify the direction of reasoning. Experiments show that SearChain outperforms state-of-the-art baselines on complex knowledge-intensive tasks including multi-hop Q\&A, slot filling, fact checking, and long-form Q\&A.

研究动机与目标

• 解决现有检索增强型 LLM 在多步知识密集型推理过程中维持推理链完整性及避免幻觉的问题。
• 通过允许 IR 在高置信度证据与 LLM 输出矛盾时验证并修正答案，提升 LLM 生成内容的可信度。
• 通过仅在 LLM 明确标记需要时才由 IR 补充缺失信息，提升知识获取能力，降低误导模型的风险。
• 通过为每个推理步骤标记支持文档的引用，提升可追溯性，实现生成内容的细粒度审计。
• 将推理拓扑结构从线性链转变为树状结构，使 LLM 能够根据 IR 反馈动态修正推理路径。

提出的方法

• 提出一种 Chain-of-Query (CoQ) 结构，其中每个节点包含一个经过 IR 优化的查询、LLM 生成的答案，以及一个指示是否需要外部知识的标志。
• 引入 LLM 与 IR 之间的多轮交互循环：每轮中，IR 使用外部知识验证答案，并在置信度高时提供修正或缺失事实。
• 利用 IR 置信度分数与 CoQ 标志，决定是否修正 LLM 的答案或补充缺失知识，确保仅注入相关且可靠的信息。
• 当接收到修正或补全信息时，允许 LLM 重新生成带有新分支的 CoQ，将推理拓扑从链式结构转变为树状结构，实现动态路径修正。
• 生成最终输出时，为每个推理步骤附带可追溯的支持文档引用，增强透明度与可审计性。
• 利用上下文学习，使 LLM 在启动 IR 交互前即可规划全局推理路径，提升推理连贯性与可扩展性。

实验结果

研究问题

• RQ1 如何在不破坏推理链或引入幻觉知识的前提下，将检索集成到 LLM 推理中？
• RQ2 基于置信度的 IR 反馈是否能提升 LLM 在多步推理任务中生成答案的可信度？
• RQ3 交互式检索在多跳问答与事实核查等复杂知识密集型任务中，能在多大程度上提升 LLM 的准确性？
• RQ4 与线性链相比，SearChain 中的树状推理结构在处理无法求解的子问题或推理死锁时表现如何？
• RQ5 SearChain 是否能通过为每个推理步骤标记支持文档的引用，实现细粒度可追溯性？

主要发现

• SearChain 在多跳问答、槽位填充、事实核查及长文本问答任务中均优于基线模型，展现出更高的准确性与推理鲁棒性。
• 在 Musique 数据集上，SearChain 对于 2-hop、3-hop 和 4-hop 问题的平均推理步数分别为 4.16、4.66 和 5.06，表明其对问题复杂度具有更好的感知能力。
• SearChain 有效缓解了 IR 对 LLM 性能的负面影响：仅 1.2% 的问题在集成 IR 后出现错误答案，显示出对误导性检索的有效抑制。
• 在可追溯性评估中，SearChain 为所有正确 CoQ 节点均标记了引用，而 New Bing 未能覆盖所有知识源，且有时会遗漏相关文档。
• 该框架仅带来少量输入 token 数与交互轮次的增加，计算开销可控，性能保持稳定。
• 案例研究显示，SearChain 会通过重写无法求解的子问题继续推理，而 CoT 与 Self-Ask 通常会过早终止。