[论文解读] SAIL: Search-Augmented Instruction Learning

Hongyin Luo, Yung-Sung Chuang+7 more|arXiv (Cornell University)|May 24, 2023

Topic Modeling被引用 6

一句话总结

SAIL 提出了一种搜索增强型指令微调框架，将大语言模型的回复基于来自外部和内部搜索引擎的嘈杂真实世界搜索结果。通过在精心筛选的（指令，搜索结果，回复）三元组语料库上微调 LLaMA-7B，SAIL-7B 在透明度敏感任务（如开放式问答和事实核查）上表现出色，优于包括 GPT-3.5-Turbo 和 Vicuna-13B 在内的强基线模型。

ABSTRACT

Large language models (LLMs) have been significantly improved by instruction fine-tuning, but still lack transparency and the ability to utilize up-to-date knowledge and information. In this work, we propose search-augmented instruction learning (SAIL), which grounds the language generation and instruction following abilities on complex search results generated by in-house and external search engines. With an instruction tuning corpus, we collect search results for each training case from different search APIs and domains, and construct a new search-grounded training set containing extit{(instruction, grounding information, response)} triplets. We then fine-tune the LLaMA-7B model on the constructed training set. Since the collected results contain unrelated and disputing languages, the model needs to learn to ground on trustworthy search results, filter out distracting passages, and generate the target response. The search result-denoising process entails explicit trustworthy information selection and multi-hop reasoning, since the retrieved passages might be informative but not contain the instruction-following answer. Experiments show that the fine-tuned SAIL-7B model has a strong instruction-following ability, and it performs significantly better on transparency-sensitive tasks, including open-ended question answering and fact checking.

研究动机与目标

• 解决指令微调大语言模型中缺乏透明度和实时知识的问题。
• 克服维基百科等静态知识库以及嘈杂商业搜索结果的局限性。
• 开发一种方法，使大语言模型能够过滤掉干扰或虚假的搜索结果，同时基于可信信息生成回复。
• 提升在透明度敏感任务（如开放式问答和事实核查）上的表现。
• 构建一个基于真实世界搜索结果的新指令微调数据集，用于训练鲁棒、可靠的大型语言模型。

提出的方法

• 针对指令微调数据集中每个指令，从内部（通过 BM25 检索的维基百科）和外部（商业）搜索引擎收集搜索结果。
• 构建一个新的（指令，支撑信息，回复）三元组训练语料库，其中支撑信息包含检索到的搜索结果。
• 在该搜索支撑的数据集上微调 LLaMA-7B 模型，使其学会筛选可信信息，并在嘈杂文本中执行多跳推理。
• 实施搜索结果去噪流程，使模型在生成回复时能够识别并过滤无关或冲突的段落。
• 使用 GPT-4 为训练数据生成高质量回复，确保指令与回复之间的一致性。
• 利用指令微调增强模型遵循自然语言指令的能力，同时依赖动态、实时的搜索输入。

Figure 1: Fact checking grounding on complicated search results with SAIL-7B and strong commercial language models. The first and third passages are distracting since they do not contain information that supports or refutes the claim, while the second passage disagrees with the claim. SAIL-7b Succes

实验结果

研究问题

• RQ1 当大语言模型基于嘈杂的真实世界搜索结果时，能否被有效引导以遵循指令？
• RQ2 将大语言模型基于多样化且可能存在冲突的搜索结果，如何影响其在透明度敏感任务上的表现？
• RQ3 在事实核查和开放式问答任务上，搜索增强型指令微调模型在多大程度上优于标准指令微调模型和商用大语言模型？
• RQ4 模型能否在不依赖封闭静态知识库的前提下，学会对多个搜索结果进行去噪并推理，以提取可信信息？
• RQ5 将实时搜索结果整合到指令微调中，是否能提升大语言模型生成输出的可靠性和可解释性？

主要发现

• SAIL-7B 在开放式问答和事实核查任务上显著优于强基线模型，包括 GPT-3.5-Turbo 和 Vicuna-13B。
• 该模型在过滤干扰和冲突的搜索结果方面表现出稳健性，即使存在误导性内容，也能正确识别可信信息。
• 由于基于实时动态搜索结果而非静态知识库，SAIL-7B 在透明度敏感任务上实现了更高性能。
• 搜索结果去噪流程支持多跳推理和可信信息选择，这对准确生成回复至关重要。
• 指令微调与检索支撑的结合显著提升了模型性能，表明两者对于高质量指令遵循均不可或缺。
• 实验结果证实，指令微调的大语言模型极易受到误导性搜索结果的影响，验证了专门去噪与支撑机制的必要性。

Figure 2: Different prompting strategies used in this work. (a) Standard prompt : the prompt template used in Peng et al. ( 2023 ) to generate GPT-4 responses to the 52k instructions. (b) Search-augmented prompt : combining the top three search results and the instruction.