[论文解读] SuRe: Summarizing Retrievals using Answer Candidates for Open-domain QA of LLMs

Jaehyung Kim, Jaehyun Nam+6 more|arXiv (Cornell University)|Apr 17, 2024

Natural Language Processing Techniques被引用 4

一句话总结

SuRe 提出了一种零样本提示框架，通过生成与候选答案相关的检索段落摘要，提升开放域问答（ODQA）中的答案定位与准确性。通过评估摘要的有效性与相对信息量，SuRe 在标准提示基础上将 F1 分数提升最高达 4.0%，精确匹配（EM）提升最高达 4.6%，并在不同大语言模型（LLM）和检索方法间展现出强大的泛化能力。

ABSTRACT

Large language models (LLMs) have made significant advancements in various natural language processing tasks, including question answering (QA) tasks. While incorporating new information with the retrieval of relevant passages is a promising way to improve QA with LLMs, the existing methods often require additional fine-tuning which becomes infeasible with recent LLMs. Augmenting retrieved passages via prompting has the potential to address this limitation, but this direction has been limitedly explored. To this end, we design a simple yet effective framework to enhance open-domain QA (ODQA) with LLMs, based on the summarized retrieval (SuRe). SuRe helps LLMs predict more accurate answers for a given question, which are well-supported by the summarized retrieval that could be viewed as an explicit rationale extracted from the retrieved passages. Specifically, SuRe first constructs summaries of the retrieved passages for each of the multiple answer candidates. Then, SuRe confirms the most plausible answer from the candidate set by evaluating the validity and ranking of the generated summaries. Experimental results on diverse ODQA benchmarks demonstrate the superiority of SuRe, with improvements of up to 4.6% in exact match (EM) and 4.0% in F1 score over standard prompting approaches. SuRe also can be integrated with a broad range of retrieval methods and LLMs. Finally, the generated summaries from SuRe show additional advantages to measure the importance of retrieved passages and serve as more preferred rationales by models and humans.

研究动机与目标

• 为解决标准提示在检索增强型大语言模型中存在的问题，即大语言模型无法有效利用长上下文并检索相关信息。
• 通过生成类似推理过程的摘要（以答案候选为条件），改善答案定位并减少开放域问答中的幻觉现象。
• 开发一种零样本、即插即用的框架，适用于黑箱大语言模型 API 和多种检索方法，无需微调。
• 评估生成的摘要是否可作为模型与人类理解的更优推理依据。

提出的方法

• SuRe 为每个不同的答案候选生成检索段落的多个摘要，以聚焦于相关上下文。
• 利用大语言模型评估每个候选-摘要对的有效性，判断摘要是否支持该候选答案。
• 通过大语言模型进行成对比较，根据摘要在回答问题时的信息量对候选摘要进行排序。
• 最终答案基于排名最高且最有效的摘要选定，形成预测的推理依据。
• 所有步骤均通过零样本提示完成，无需微调或 few-shot 示例。
• 该方法兼容多种检索方法（如 BM25、DPR、Contriever）和大语言模型（如 GPT-4、ChatGPT、LLaMA-2）。

实验结果

研究问题

• RQ1 基于候选答案的摘要能否提升大语言模型在零样本开放域问答中的准确性？
• RQ2 通过零样本提示生成的摘要是否比通用摘要更具可靠性与可解释性，可作为更优的推理依据？
• RQ3 SuRe 在无微调条件下，对不同检索方法和大语言模型的表现如何？
• RQ4 生成的摘要能否用于衡量检索段落的重要性？
• RQ5 SuRe 是否能提升模型与人类对问答系统中推理过程的偏好？

主要发现

• 在四个 ODQA 基准上，SuRe 相较于标准提示，将精确匹配（EM）提升最高达 4.6%，F1 分数提升最高达 4.0%。
• 使用 ChatGPT 和 BM25 时，SuRe 相较于无检索增强的零样本问答，实现了 12.8% 的准确率提升。
• 该方法在不同大语言模型（如 GPT-4、LLaMA-2、ChatGPT）和检索方法（BM25、DPR、Contriever）之间均表现出良好的泛化能力。
• 与通用摘要相比，SuRe 生成的摘要在信息量和偏好度上均被模型与人类评价为更优。
• 这些摘要能有效识别并排序最相关的检索段落，实现可解释性与重要性评估。
• 在所有数据集上，SuRe 均优于强基线方法（如思维链、自验证、RePlug），在 EM 和 F1 上均保持一致的性能增益。