[论文解读] The Benchmark Lottery

Mostafa Dehghani, Yi Tay+6 more|arXiv (Cornell University)|Jul 14, 2021

Explainable Artificial Intelligence (XAI)参考文献 142被引用 8

一句话总结

本文提出了“基准彩票”（benchmark lottery）的概念，认为机器学习中的算法成功往往更多取决于与特定基准任务的契合度，而非内在优越性。通过对自然语言处理、计算机视觉和强化学习基准的实证分析，研究发现模型排名在不同任务选择、聚合方法和评估设置下会发生剧烈变化，凸显了当前机器学习进展度量中的系统性脆弱性和偏差。

ABSTRACT

The world of empirical machine learning (ML) strongly relies on benchmarks in order to determine the relative effectiveness of different algorithms and methods. This paper proposes the notion of "a benchmark lottery" that describes the overall fragility of the ML benchmarking process. The benchmark lottery postulates that many factors, other than fundamental algorithmic superiority, may lead to a method being perceived as superior. On multiple benchmark setups that are prevalent in the ML community, we show that the relative performance of algorithms may be altered significantly simply by choosing different benchmark tasks, highlighting the fragility of the current paradigms and potential fallacious interpretation derived from benchmarking ML methods. Given that every benchmark makes a statement about what it perceives to be important, we argue that this might lead to biased progress in the community. We discuss the implications of the observed phenomena and provide recommendations on mitigating them using multiple machine learning domains and communities as use cases, including natural language processing, computer vision, information retrieval, recommender systems, and reinforcement learning.

研究动机与目标

• 揭示当前机器学习基准测试实践中固有的脆弱性和偏差。
• 证明模型排名对基准组成和评估选择具有高度敏感性。
• 主张社区对基准的共识可能通过偏爱特定模型类型而扭曲研究进展。
• 倡导采用更严格、透明且动态的基准测试实践，以减少偏差并提升有效性。
• 鼓励开发持续演进的基准和标准化评估协议，以缓解过拟合与误读问题。

提出的方法

• 在不同任务子集下，分析模型在多个基准套件（如 SuperGLUE、VTAB、Long Range Arena、RL Unplugged）中的表现。
• 通过测量单个任务与整体基准得分之间的等级相关性，评估任务选择偏差的影响。
• 评估不同得分聚合方法（如平均法与最小/最大值法）对模型排名的影响。
• 评估人工评估和统计检验实践对基准结果的影响。
• 提出“活体基准”（living benchmarks），通过随时间更新任务、数据和标签来动态演化，以抵抗过拟合。
• 推荐标准化的评估指南、统计检验协议（如 Wilcoxon signed-rank 检验）以及多重检验校正方法。

实验结果

研究问题

• RQ1 不同基准任务的选择在多大程度上影响机器学习模型的相对排名？
• RQ2 聚合方法（如平均法）在多大程度上引入归纳偏差，从而偏好表现均衡的模型而非在特定领域突出的模型？
• RQ3 评估设置不一致（如测试集重复使用或数据泄露）在多大程度上影响基准结果的有效性？
• RQ4 社区规范和同行评审实践在多大程度上塑造了哪些基准成为权威标准，并进而影响研究方向？
• RQ5 动态、持续演化的基准是否能减少过拟合，并提升模型评估的泛化能力？

主要发现

• 在 SuperGLUE 和 VTAB 等基准上，当使用不同任务子集时，模型排名发生显著变化，表明其对任务选择高度敏感。
• 采用平均法作为得分聚合方式会引入归纳偏差，倾向于偏好在各项任务上表现稳定一致的模型，而非在特定领域表现卓越的模型。
• 在基准评估中，统计显著性检验常被低估或误用，许多研究未能使用适当的检验方法（如 Wilcoxon signed-rank 检验）。
• 同一模型在某一基准套件中可能位列榜首，但在另一任务子集上却接近末位，凸显了基准结果的脆弱性。
• 通过数据更新和人机协同评估动态演化的活体基准（如 Dynabench 和 GEM）更能抵抗过拟合，更真实反映现实世界表现。
• 基准的重复使用和静态评估协议导致渐进式过拟合，使模型更适应数据集的特定特征而非实现有效泛化。