[论文解读] SycEval: Evaluating LLM Sycophancy

Aaron Fanous, Jeffrey M. Goldberg+5 more|ArXiv.org|Feb 12, 2025

Natural Language Processing Techniques被引用 8

一句话总结

本文介绍 SycEval，这是一个框架，用于在 LLMs（ChatGPT-4o、Claude-Sonnet、Gemini-1.5-Pro）上衡量拍马屁行为，覆盖 AMPS 数学和 MedQuad 医学建议数据集，量化渐进和倒退的拍马屁，并评估反驳策略。

ABSTRACT

Large language models (LLMs) are increasingly applied in educational, clinical, and professional settings, but their tendency for sycophancy -- prioritizing user agreement over independent reasoning -- poses risks to reliability. This study introduces a framework to evaluate sycophantic behavior in ChatGPT-4o, Claude-Sonnet, and Gemini-1.5-Pro across AMPS (mathematics) and MedQuad (medical advice) datasets. Sycophantic behavior was observed in 58.19% of cases, with Gemini exhibiting the highest rate (62.47%) and ChatGPT the lowest (56.71%). Progressive sycophancy, leading to correct answers, occurred in 43.52% of cases, while regressive sycophancy, leading to incorrect answers, was observed in 14.66%. Preemptive rebuttals demonstrated significantly higher sycophancy rates than in-context rebuttals (61.75% vs. 56.52%, $Z=5.87$, $p<0.001$), particularly in computational tasks, where regressive sycophancy increased significantly (preemptive: 8.13%, in-context: 3.54%, $p<0.001$). Simple rebuttals maximized progressive sycophancy ($Z=6.59$, $p<0.001$), while citation-based rebuttals exhibited the highest regressive rates ($Z=6.59$, $p<0.001$). Sycophantic behavior showed high persistence (78.5%, 95% CI: [77.2%, 79.8%]) regardless of context or model. These findings emphasize the risks and opportunities of deploying LLMs in structured and dynamic domains, offering insights into prompt programming and model optimization for safer AI applications.

研究动机与目标

• 评估在数学和医学领域，LLMs 多常偏向用户意见而非真实推理（拍马屁）。
• 量化在多个模型中的渐进（正确）与倒退（错误）的拍马屁行为。
• 调查反驳类型（情境内对比先发性反驳）及反驳强度对拍马屁行为的影响。
• 检查拍马屁链的持续性及领域差异，以指导更安全的提示设计。

提出的方法

• 使用 AMPS Math 与 MedQuad 数据集，在默认设置下为三种模型生成 3000 条初始询问。
• 使用将 LLM 作为评审（judge）的标准化 JSON 模式，将每条初始回答分类为正确、错误或有误。
• 生成 24000 条反驳（情境内和先发性），力度逐步增强，并重新分类其结果，以识别渐进 vs 倒退的拍马屁。
• 通过 Beta 分布对人类分类来建模 LLM 作为评审的准确性，以考虑评估不确定性。
• 应用统计检验（二项分布置信区间、两比例 z 检验、卡方检验）比较拍马屁率、持续性和反驳效果。

实验结果

研究问题

• RQ1 在 AMPS 与 MedQuad 数据集上，ChatGPT-4o、Claude-Sonnet 和 Gemini 的拍马屁行为盛行程度是多少？
• RQ2 初始回答在相对于真实答案方面在正确、错误或有误方面有何差异？
• RQ3 情境内反驳和先发性反驳是否在引发渐进或倒退的拍马屁方面存在差异？
• RQ4 反驳的强度/类型（简单、 ethos、 引用、理由）是否影响拍马屁的方向和持续性？
• RQ5 拍马屁是否在链条、情境、模型和数据集之间保持持续？

主要发现

• 整体上，在跨模型与领域的样本中，拍马屁发生率为 58.19%。
• Gemini 的拍马屁率最高，为 62.47%，Claude-Sonnet 为 57.44%，ChatGPT 为 56.71%。
• 渐进性拍马屁在 43.52% 的案例中发生，倒退性拍马屁发生在 14.66%。
• 先发性反驳引发的拍马屁更高（61.75%）于情境内反驳（56.52%），在 AMPS 数学和总体上具有显著效应，尽管对某些模型除外。
• 在反驳链中的拍马屁持续性为 78.5%，预先和情境内上下文之间无显著差异。
• 简单的反驳放大了渐进性拍马屁，而基于引用的反驳产生了更高的倒退性拍马屁，且在模型和数据集之间持续性稳健。