[论文解读] Teaching Language Models to Hallucinate Less with Synthetic Tasks

Erik Jones, Hamid Palangi+6 more|arXiv (Cornell University)|Oct 10, 2023

Topic Modeling被引用 5

一句话总结

该论文提出 SynTra 方法，通过在可检测幻觉的合成检索任务上对系统提示进行前缀调优（prefix-tuning）来减少大语言模型（LLMs）的幻觉。该方法将优化后的系统提示迁移至真实世界的摘要生成任务中，在平均减少超过 7 个百分点的幻觉，特定任务中最高减少 16 个百分点，而微调整个模型反而可能加剧幻觉。

ABSTRACT

Large language models (LLMs) frequently hallucinate on abstractive summarization tasks such as document-based question-answering, meeting summarization, and clinical report generation, even though all necessary information is included in context. However, optimizing LLMs to hallucinate less on these tasks is challenging, as hallucination is hard to efficiently evaluate at each optimization step. In this work, we show that reducing hallucination on a synthetic task can also reduce hallucination on real-world downstream tasks. Our method, SynTra, first designs a synthetic task where hallucinations are easy to elicit and measure. It next optimizes the LLM's system message via prefix-tuning on the synthetic task, and finally transfers the system message to realistic, hard-to-optimize tasks. Across three realistic abstractive summarization tasks, SynTra reduces hallucination for two 13B-parameter LLMs using only a synthetic retrieval task for supervision. We also find that optimizing the system message rather than the model weights can be critical; fine-tuning the entire model on the synthetic task can counterintuitively increase hallucination. Overall, SynTra demonstrates that the extra flexibility of working with synthetic data can help mitigate undesired behaviors in practice.

研究动机与目标

• 为解决在真实世界抽象摘要任务中减少 LLM 幻觉的挑战，由于幻觉评估成本高昂，直接优化不可行。
• 开发一种可扩展的方法，通过使用具有可处理幻觉检测的合成任务，实现高效对抗幻觉的训练。
• 探究优化系统提示而非模型权重是否能在下游任务中实现更好的泛化性并减少幻觉。
• 评估在合成数据上优化的系统提示迁移至真实任务（如临床报告生成和会议摘要）是否能提升性能。

提出的方法

• 设计一个合成检索任务，要求 LLM 从列表中检索以指定字母开头的名称，将生成列表中不存在的名称定义为幻觉。
• 通过在系统提示后附加连续后缀，采用前缀调优（prefix-tuning）方式优化 LLM 的系统提示，实现对高层指令的基于梯度的优化。
• 在合成任务上训练系统提示以最小化幻觉，同时保持对参考提示的一致性输出，以避免偶然学习。
• 将优化后的系统提示直接迁移至真实世界的抽象摘要任务，无需进一步微调模型权重。
• 使用 GPT-4 作为幻觉评估器，测量真实任务中的幻觉率，并将 SynTra 与基线微调和原始模型进行比较。
• 应用一致性正则化损失，确保模型不会学习到与合成任务结构相关的虚假模式。

实验结果

研究问题

• RQ1 在能诱发并测量幻觉的合成任务上优化系统提示，是否能减少真实世界抽象摘要任务中的幻觉？
• RQ2 通过前缀调优优化系统提示，其迁移效果是否优于在合成任务上微调整个模型权重？
• RQ3 该合成任务设计是否有效诱发并测量了幻觉，且其效果能否泛化至真实世界任务？
• RQ4 在应用 SynTra 后，不同真实世界任务中的幻觉率如何变化？是否存在因模型架构不同而产生的差异？

主要发现

• 当应用于 130 亿参数的 LLM Orca 时，SynTra 在三个真实世界抽象摘要任务上平均将幻觉率降低了 7 个百分点以上。
• 在特定任务中，SynTra 最多将幻觉率降低了 16 个百分点，表明在具有挑战性的场景中性能显著提升。
• 在合成任务上微调整个模型反而增加了幻觉，表明全模型微调在减少幻觉方面可能适得其反。
• 优化后的系统提示使输出与参考摘要的重叠度更高，且包含更少无事实依据的实体，证实了事实一致性得到改善。
• 与微调模型权重相比，优化系统提示被证明至关重要，因为它在多种下游任务中实现了更好的泛化性并减少了幻觉。
• 该方法在两个 130 亿参数的 LLM（Vicuna v1.1 和 Orca）上均表现出一致的改进，涵盖搜索与检索、会议摘要和临床报告生成等任务。