[论文解读] Summary of a Haystack: A Challenge to Long-Context LLMs and RAG Systems

Philippe Laban, Alexander R. Fabbri+2 more|arXiv (Cornell University)|Jul 1, 2024

Semantic Web and Ontologies被引用 4

一句话总结

该论文提出了 SummHay，一个新颖的基准，用于通过合成大型文档集合（'Haystacks'）并控制文档间重复的洞察信息，来评估长上下文大语言模型（LLMs）和检索增强生成（RAG）系统。系统必须总结与查询相关的洞察，并精确引用源文档。评估结果表明，即使在使用最优检索的情况下，模型在联合覆盖率和引用得分上仍落后于人类表现超过10分，暴露出当前长上下文推理和检索系统存在显著局限性。

ABSTRACT

LLMs and RAG systems are now capable of handling millions of input tokens or more. However, evaluating the output quality of such systems on long-context tasks remains challenging, as tasks like Needle-in-a-Haystack lack complexity. In this work, we argue that summarization can play a central role in such evaluation. We design a procedure to synthesize Haystacks of documents, ensuring that specific extit{insights} repeat across documents. The "Summary of a Haystack" (SummHay) task then requires a system to process the Haystack and generate, given a query, a summary that identifies the relevant insights and precisely cites the source documents. Since we have precise knowledge of what insights should appear in a haystack summary and what documents should be cited, we implement a highly reproducible automatic evaluation that can score summaries on two aspects - Coverage and Citation. We generate Haystacks in two domains (conversation, news), and perform a large-scale evaluation of 10 LLMs and corresponding 50 RAG systems. Our findings indicate that SummHay is an open challenge for current systems, as even systems provided with an Oracle signal of document relevance lag our estimate of human performance (56\%) by 10+ points on a Joint Score. Without a retriever, long-context LLMs like GPT-4o and Claude 3 Opus score below 20% on SummHay. We show SummHay can also be used to study enterprise RAG systems and position bias in long-context models. We hope future systems can equal and surpass human performance on SummHay.

研究动机与目标

• 为复杂、多文档摘要任务中的长上下文 LLM 和 RAG 系统提供稳健且可复现的评估，以解决当前缺乏此类评估的问题。
• 克服现有基准（如 Needle-in-a-Haystack）缺乏复杂性且无法区分最先进模型的局限性。
• 开发一种基于参考洞察覆盖度和引用准确性的可扩展、自动化的评估协议，实现系统间的可靠比较。
• 估计人类在长上下文摘要任务中的表现，并在真实和最优检索条件下对10个 LLM 和50个 RAG 系统进行基准测试。
• 识别关键失败模式，如位置偏差和检索泛化能力差，尤其在长上下文模型中表现明显。

提出的方法

• 使用受控的数据生成管道合成 Haystacks，确保特定洞察在两个领域（对话和新闻）的100篇文档中重复出现。
• 设计 SummHay 任务，要求模型生成的摘要必须覆盖相关洞察并精确引用源文档，对预期输出实现精确控制。
• 实施双评估协议：人工标注（组间一致性达0.77）与基于 LLM 的评估（与人工判断相关性为0.71，成本降低50倍）。
• 生成10个 Haystacks，每个包含约10个查询，总计92个 SummHay 任务，洞察按子主题分类，并精确追踪源文档。
• 在标准和最优检索设置下评估10个闭源 LLM 和50个 RAG 系统，以分离模型与检索性能的影响。
• 结合自动指标与人工验证的参考摘要，衡量覆盖度和引用质量，采用联合得分评估整体表现。

实验结果

研究问题

• RQ1 摘要任务能否作为长上下文 LLM 和 RAG 系统的稳健、复杂基准，超越 Needle-in-a-Haystack 等简单检索任务？
• RQ2 当前长上下文 LLM 和 RAG 系统在需要精确洞察覆盖和引用的多文档摘要任务中表现如何？
• RQ3 在 SummHay 基准中，引入最优检索器在多大程度上提升了系统性能？
• RQ4 人类在 SummHay 任务中的表现与模型表现相比如何？模型能否超越人类？
• RQ5 当前系统中的关键失败模式（如位置偏差或引用准确率低）是什么？它们如何影响性能？

主要发现

• 即使在使用最优检索信号识别相关文档的情况下，所有评估模型在联合覆盖率和引用得分上的得分均低于56%，落后于估计的人类表现超过10分。
• 长上下文 LLM（如 GPT-4o 和 Claude 3 Opus）在无检索器的情况下，SummHay 得分低于20%，表明其在长上下文推理方面仍面临重大挑战。
• 基于 LLM 的评估方法与人工判断的相关性达到0.71，提供了一种成本远低于人工标注的可靠替代方案。
• 人工评估协议在标注者之间表现出强可复现性，组间一致性达0.77，验证了该基准的可靠性。
• 位置偏差和引用准确率低被识别为关键失败模式，尤其在无检索的长上下文模型中更为明显。
• 该基准揭示，当前 RAG 系统和 LLM 即使在最优检索条件下，仍难以兼顾覆盖度和引用精度，凸显了长上下文 AI 领域中的重大开放挑战。