[论文解读] WildBench: Benchmarking LLMs with Challenging Tasks from Real Users in the Wild

Bill Yuchen Lin, Yuntian Deng+7 more|arXiv (Cornell University)|Jun 7, 2024

Recommender Systems and Techniques被引用 4

一句话总结

WildBench 引入了一种动态的、自动化的基准测试，用于评估大型语言模型（LLMs），其基于从实时聊天互动中收集的1,024个真实用户查询。该方法采用 LLM-as-judge 模式，结合任务特定的检查清单与结构化推理，通过 WB-Reward（成对比较）和 WB-Score（独立评分）生成可解释且可靠的评分，分别实现了与人类判断的0.98和0.95皮尔逊相关系数，优于现有基准。

ABSTRACT

We introduce WildBench, an automated evaluation framework designed to benchmark large language models (LLMs) using challenging, real-world user queries. WildBench consists of 1,024 tasks carefully selected from over one million human-chatbot conversation logs. For automated evaluation with WildBench, we have developed two metrics, WB-Reward and WB-Score, which are computable using advanced LLMs such as GPT-4-turbo. WildBench evaluation uses task-specific checklists to evaluate model outputs systematically and provides structured explanations that justify the scores and comparisons, resulting in more reliable and interpretable automatic judgments. WB-Reward employs fine-grained pairwise comparisons between model responses, generating five potential outcomes: much better, slightly better, slightly worse, much worse, or a tie. Unlike previous evaluations that employed a single baseline model, we selected three baseline models at varying performance levels to ensure a comprehensive pairwise evaluation. Additionally, we propose a simple method to mitigate length bias, by converting outcomes of ``slightly better/worse'' to ``tie'' if the winner response exceeds the loser one by more than $K$ characters. WB-Score evaluates the quality of model outputs individually, making it a fast and cost-efficient evaluation metric. WildBench results demonstrate a strong correlation with the human-voted Elo ratings from Chatbot Arena on hard tasks. Specifically, WB-Reward achieves a Pearson correlation of 0.98 with top-ranking models. Additionally, WB-Score reaches 0.95, surpassing both ArenaHard's 0.91 and AlpacaEval2.0's 0.89 for length-controlled win rates, as well as the 0.87 for regular win rates.

研究动机与目标

• 为解决现有 LLM 基准测试依赖于合成数据或狭窄任务分布的局限性，采用来自实时聊天互动的真实、多样化且具有挑战性的用户查询。
• 开发一种自动化、可扩展且可解释的评估框架，在减少人工劳动的同时保持与人类偏好的高度一致。
• 通过动态长度惩罚机制，缓解 LLM-as-judge 评估中常见的长度偏差问题。
• 通过持续使用来自 WildChat 项目的新鲜、未见过的用户数据更新基准，确保数据时效性并降低数据泄露风险。
• 提供一个透明、抗污染的评估平台，公开验证数据集和详细的构建流程。

提出的方法

• WildBench 从 WildChat 数据集中超过一百万条真实用户-聊天机器人对话日志中筛选出1,024个具有挑战性的任务，通过多 LLM 分析与人工审核剔除简单任务。
• 采用受思维链（Chain-of-Thought, CoT）启发的提示策略，使 LLM 判官使用任务特定的检查清单生成结构化、分步的论证，以评估响应质量。
• WB-Reward 通过五种结果对模型输出进行成对比较：明显更好、略微更好、平局、略微更差或明显更差，使用三个基线模型而非单一模型以实现全面评估。
• WB-Score 独立评估模型输出，实现无需成对比较的快速且成本高效的模型质量评估。
• 长度惩罚机制在获胜响应比失败响应长超过 K 个字符时，将‘略微更好’或‘略微更差’的结果转换为‘平局’，以缓解长度偏差。
• 该基准使用私有保留集防止数据泄露，并通过公开发布验证集和构建流程，确保透明性。

Figure 1: Evaluation framework for WildBench .

实验结果

研究问题

• RQ1 在真实世界、开放式用户查询上评估时，自动化 LLM-as-judge 框架能否实现与人类偏好判断高度相关的评估结果？
• RQ2 在成对比较中使用多个基线模型相比单基线方法，如何提升 LLM 评估的鲁棒性与全面性？
• RQ3 在 LLM 判官中使用结构化检查清单与分步推理，在多大程度上能减少模糊性并提升自动化评估的可解释性？
• RQ4 动态长度惩罚机制在缓解 LLM-as-judge 评估中众所周知的长度偏差方面有多有效？
• RQ5 使用真实用户数据持续更新的基准能否在保持相关性的同时抵抗模型污染，且优于静态、封闭的基准？

主要发现

• WB-Reward 在硬任务上与 Chatbot Arena 的人类投票 Elo 评分的相关系数达到 0.98，表明与人类偏好的近乎完美对齐。
• WB-Score 与人类判断的相关系数为 0.95，超过 ArenaHard 的 0.91 和 AlpacaEval2.0 的 0.89（针对长度控制的胜率）。
• 该基准在多种任务类别中表现出色，详细评分分解揭示了模型在编程、数学和推理等领域的优势与不足。
• 在成对评估中使用三个基线模型相比单基线方法，提供了更细致、更全面的评估，能够捕捉不同模型层级之间的性能差异。
• 长度惩罚机制有效降低了输出长度对判断的影响，提升了自动化评估的公平性与可靠性。
• 自发布以来，WildBench 排行榜已被访问超过 20,000 次，表明其在研究社区中获得了广泛采纳与实用价值。

Figure 2: Distribution of query lengths in AlpacaEval, ArenaHard, and WildBench.