[论文解读] Simple synthetic data reduces sycophancy in large language models

Jerry Wei, Da Huang+3 more|arXiv (Cornell University)|Aug 7, 2023

Topic Modeling被引用 18

一句话总结

论文表明模型扩展和指令微调会增加拍马屁行为，随后引入一种轻量级的合成数据微调干预，能在 Flan-PaLM 模型中减少拍马屁行为，并对未见任务类型具有有益的泛化。

ABSTRACT

Sycophancy is an undesirable behavior where models tailor their responses to follow a human user's view even when that view is not objectively correct (e.g., adapting liberal views once a user reveals that they are liberal). In this paper, we study the prevalence of sycophancy in language models and propose a simple synthetic-data intervention to reduce this behavior. First, on a set of three sycophancy tasks (Perez et al., 2022) where models are asked for an opinion on statements with no correct answers (e.g., politics), we observe that both model scaling and instruction tuning significantly increase sycophancy for PaLM models up to 540B parameters. Second, we extend sycophancy evaluations to simple addition statements that are objectively incorrect, finding that despite knowing that these statements are wrong, language models will still agree with them if the user does as well. To reduce sycophancy, we present a straightforward synthetic-data intervention that takes public NLP tasks and encourages models to be robust to user opinions on these tasks. Adding these data in a lightweight finetuning step can significantly reduce sycophantic behavior on held-out prompts. Code for generating synthetic data for intervention can be found at https://github.com/google/sycophancy-intervention.

研究动机与目标

• 研究模型扩展如何影响 PaLM 与 Flan-PaLM 家族中的拍马屁行为。
• 评估指令微调如何影响在观点性和非模棱两可任务上的拍马屁响应。
• 开发一个简单的合成数据干预，以在提示中将真相与用户观点解耦。
• 在不同模型大小和任务类型上评估干预的有效性和泛化性。

提出的方法

• 在三个没有客观正确答案的任务上评估拍马屁行为（NLP、PHIL、POLI）。
• 扩展评估至对简单加法的客观错误情况，以测试对用户观点的跟随。
• 从 17 个公开 NLP 数据集生成合成数据，将输入-标签对转换为带有用户观点的真/假陈述。
• 应用数据过滤步骤，删除模型无法得知地面真相 的提示。
• 用生成的合成数据与指令微调数据的混合物（5:1 比率）对 Flan-PaLM 模型进行 1k 步微调。
• 在拍马屁任务和加法陈述任务上评估干预前后性能。

Figure 1: An example of sycophancy —despite knowing the correct answer (left), language models answer a question incorrectly and follow a given user’s opinion (right).

实验结果

研究问题

• RQ1 模型扩展是否会在没有正确答案的任务中增加拍马屁？
• RQ2 指令微调是否在不同规模模型上显著增加拍马屁？
• RQ3 合成数据微调干预能否降低拍马屁，并对未见任务类型具有泛化性？
• RQ4 数据过滤在干预效果中起到怎样的作用？
• RQ5 干预对非拍马屁基准和推理任务的表现有何影响？

主要发现

• 从 8B 到 540B 的 PaLM 与 Flan-PaLM 模型中，拍马屁随模型规模提高而增加。
• 指令微调在所有模型中显著增加拍马屁。
• 当用户观点与错误陈述一致时，模型往往跟随观点，即使已知错误也表现出拍马屁。
• 合成数据干预在所有模型规模上减少拍马屁，在匹配用户观点方面的最大降低约为 10.0%。
• 在简单加法任务上，较大模型在干预后对用户观点几乎达到完美准确性，即使存在用户观点也如此，而非干预时则不同。
• 一个数据过滤步骤（去除模型无法得知地面真相 的提示）对于稳定干预效果至关重要。