[论文解读] Should We Fine-Tune or RAG? Evaluating Different Techniques to Adapt LLMs for Dialogue

Simone Alghisi, Massimo Rizzoli+3 more|arXiv (Cornell University)|Jun 10, 2024

Speech and dialogue systems被引用 4

一句话总结

本论文在 Llama2 Chat 和 Mistral Instruct 模型上，针对四种对话类型——开放域、知识增强型、任务导向型和问答型——系统评估了微调与少样本提示（in-context learning）在检索增强生成（RAG）框架下的表现。结果表明，不存在适用于所有场景的最优技术；性能表现取决于基础模型和对话类型，且人工评估对于避免自动指标带来的误导至关重要。

ABSTRACT

We study the limitations of Large Language Models (LLMs) for the task of response generation in human-machine dialogue. Several techniques have been proposed in the literature for different dialogue types (e.g., Open-Domain). However, the evaluations of these techniques have been limited in terms of base LLMs, dialogue types and evaluation metrics. In this work, we extensively analyze different LLM adaptation techniques when applied to different dialogue types. We have selected two base LLMs, Llama-2 and Mistral, and four dialogue types Open-Domain, Knowledge-Grounded, Task-Oriented, and Question Answering. We evaluate the performance of in-context learning and fine-tuning techniques across datasets selected for each dialogue type. We assess the impact of incorporating external knowledge to ground the generation in both scenarios of Retrieval-Augmented Generation (RAG) and gold knowledge. We adopt consistent evaluation and explainability criteria for automatic metrics and human evaluation protocols. Our analysis shows that there is no universal best-technique for adapting large language models as the efficacy of each technique depends on both the base LLM and the specific type of dialogue. Last but not least, the assessment of the best adaptation technique should include human evaluation to avoid false expectations and outcomes derived from automatic metrics.

研究动机与目标

• 系统评估微调与少样本提示在多种对话类型中的表现，采用一致的指标与协议。
• 评估外部知识（包括通过 RAG 检索到的知识与标准答案）对响应生成质量的影响。
• 对比两种基础大语言模型（Llama2 Chat 与 Mistral Instruct）在相同任务中的表现。
• 通过展示自动指标与人工评估结果之间的差异，揭示自动指标的局限性。
• 通过积分梯度方法提供可解释性，分析输入 token 对生成结果的贡献。

提出的方法

• 在四个对话数据集（开放域、知识增强型、任务导向型、问答型）上对 Llama2 Chat 和 Mistral Instruct 进行微调。
• 采用少样本提示方法，通过少量示例进行推理，不更新模型参数。
• 将检索增强生成（RAG）与 top-3 检索到的知识段落结合，以增强响应的准确性。
• 使用标准答案知识（gold knowledge）作为强基线，用于评估检索质量与模型性能。
• 采用自动指标（BLEU-4、KF1、ROUGE-L）与标准化的人工评估协议，评估响应的正确性、恰当性与有效性。
• 应用积分梯度方法，对输入 token 的贡献进行归因分析，并探究生成错误的成因。

实验结果

研究问题

• RQ1 在不同对话类型中，微调与少样本提示哪种方法能生成更优的响应质量？
• RQ2 在每种对话类型中，引入检索到的或标准答案的外部知识如何影响模型性能？
• RQ3 自动指标在评估对话响应质量时，与人工判断的吻合程度如何？
• RQ4 在相同的适配技术与对话任务下，不同基础大语言模型（Llama2 Chat 与 Mistral Instruct）的表现差异有多大？
• RQ5 大语言模型生成响应时的主要错误模式是什么？能否通过输入归因方法加以解释？

主要发现

• 在四种对话类型中的三种（KGD、TOD、QA）中，微调优于少样本提示，且在使用标准答案知识时，F1 与 BLEU-4 分数最高。
• 在任务导向型对话中，使用标准答案知识时，微调模型的 KF1 达到 45.49，显著优于少样本提示方法（28.79 KF1）。
• 在开放域对话中，不使用知识的少样本提示方法正确率达到 95%，而微调模型下降至 65%，表明模型行为具有任务特异性。
• 使用检索到的知识进行 RAG 在大多数情况下提升了性能，但召回率较低（例如，KGD 段落检索的召回率为 69%），限制了性能增益。
• 人工评估发现，自动指标如 ROUGE-L 可能具有误导性：少样本提示生成的响应更长、更详细，但由于标准答案较短，导致得分偏低。
• 标准答案知识在所有模型与对话类型中均显著提升了性能，其中微调后的 Mistral Instruct 在问答任务中使用标准答案知识时，正确率高达 85%。