[论文解读] Shepherd: A Critic for Language Model Generation

Tianlu Wang, Ping Yu+8 more|arXiv (Cornell University)|Aug 8, 2023

Topic Modeling被引用 4

一句话总结

Shepherd 是一个经过微调的 7B 参数语言模型，用于批判和改进其他大型语言模型的输出，其训练数据集结合了社区论坛的评论和人工标注的反馈，质量较高。它在自动评估和人类评估中均达到与 GPT-4 相当的性能，并优于 Alpaca 和 SelFee 等模型，展现出在识别事实性错误、逻辑错误和连贯性错误方面的能力，同时提供切实可行的改进建议。

ABSTRACT

As large language models improve, there is increasing interest in techniques that leverage these models' capabilities to refine their own outputs. In this work, we introduce Shepherd, a language model specifically tuned to critique responses and suggest refinements, extending beyond the capabilities of an untuned model to identify diverse errors and provide suggestions to remedy them. At the core of our approach is a high quality feedback dataset, which we curate from community feedback and human annotations. Even though Shepherd is small (7B parameters), its critiques are either equivalent or preferred to those from established models including ChatGPT. Using GPT-4 for evaluation, Shepherd reaches an average win-rate of 53-87% compared to competitive alternatives. In human evaluation, Shepherd strictly outperforms other models and on average closely ties with ChatGPT.

研究动机与目标

• 开发一个专用的批判模型，通过识别事实性、逻辑性和连贯性错误，提升 LLM 生成文本的可靠性和质量。
• 构建一个高质量、多样化的反馈数据集，结合社区来源的评论和人工标注的反馈，用于训练。
• 评估小型专用批判模型相较于大型通用模型（如 ChatGPT）在生成准确、可操作反馈方面的有效性。
• 通过自动化、高质量的批判实现 LLM 输出的迭代优化，减少幻觉现象，提升事实一致性。

提出的方法

• 在精选的反馈数据集上微调一个 7B 参数的语言模型，该数据集由来自 Stack Exchange 的社区反馈和针对模型生成结果的人工标注批判组成。
• 采用两阶段数据收集流程：首先，从真实的在线问答论坛中提取批判意见，以捕捉多样化、非正式的反馈；其次，从人工标注者处收集高质量、结构化的反馈，覆盖多种任务的模型输出。
• 训练 Shepherd 模型生成自然语言反馈，明确指出具体错误（例如事实性错误、逻辑漏洞），并提供切实可行的改进建议。
• 使用 GPT-4 作为裁判进行自动化偏好比较，同时通过人类标注者在成对偏好研究中评估批判质量。
• 在七个多样化数据集上将 Shepherd 的反馈与基线模型（包括 Alpaca、SelFee 和 ChatGPT）进行对比，评估其一致性、准确性和帮助性。
• 分析社区数据与人工标注数据的相对贡献，发现社区数据提升了多样性，而人工数据则提高了精确度和反馈质量。

Figure 2: Preference evaluation using GPT-4 as the evaluator, comparing Shepherd with 3 different competing models across 7 different datasets.

实验结果

研究问题

• RQ1 小型专用语言模型是否能在生成高质量、可操作的批判方面超越通用大型语言模型？
• RQ2 与精心筛选的人工标注反馈相比，包含多样化、非正式社区反馈是否能更有效地提升批判模型的性能？
• RQ3 像 Shepherd 这类批判模型在多大程度上可以减少 LLM 输出中的幻觉现象并提升事实一致性？
• RQ4 在自动化评估和人类评估中，Shepherd 的反馈质量与 GPT-4 和 ChatGPT 相比如何？

主要发现

• 在基于 GPT-4 的偏好评估中，Shepherd 在多个多样化数据集上的胜率在 53% 至 87% 之间，表明其批判意见普遍受到偏好。
• 在人类评估中，Shepherd 严格优于 Alpaca 和 SelFee，且与 ChatGPT 表现相当，展现出高质量、可操作的反馈能力。
• 社区反馈数据提升了错误类型的多样性与覆盖范围，而人工标注数据则提高了批判的精确度并减少了模糊性。
• Shepherd 在识别具体错误方面表现更优，例如事实性错误（如将小苏打与泡打粉混淆）和逻辑不一致（如声称存在“无风险”投资）。
• Alpaca 经常对输出质量高低给出一致的正面反馈，而 SelFee 则常提供模糊或离题的反馈，凸显了专用批判模型的必要性。
• 该模型的 7B 参数规模使其在无需大规模推理的前提下实现强大性能，成为一种轻量化但高效的工具，适用于 LLM 输出的迭代优化。

Figure 3: Human preference evaluation, comparing Shepherd with 3 different competing models across 7 different datasets.