[论文解读] Significant Improvements over the State of the Art? A Case Study of the MS MARCO Document Ranking Leaderboard

Jimmy Lin, Daniel Campos+3 more|arXiv (Cornell University)|Feb 25, 2021

Topic Modeling参考文献 9被引用 5

一句话总结

本文提出了一套针对 MS MARCO 文档排序排行榜的细致评估框架，将检索性能分解为两个独立结果：回答问题的比例（情况2）和期望搜索长度（ESL，情况3）。通过分别分析这些组成部分并应用显著性检验，该框架揭示了不同运行方式的显著改进——例如回答更多问题或更早地将相关结果排在前列——而不会因使用 MRR@100 而混淆这些改进，后者会掩盖关键洞察。

ABSTRACT

Leaderboards are a ubiquitous part of modern research in applied machine learning. By design, they sort entries into some linear order, where the top-scoring entry is recognized as the "state of the art" (SOTA). Due to the rapid progress being made in information retrieval today, particularly with neural models, the top entry in a leaderboard is replaced with some regularity. These are touted as improvements in the state of the art. Such pronouncements, however, are almost never qualified with significance testing. In the context of the MS MARCO document ranking leaderboard, we pose a specific question: How do we know if a run is significantly better than the current SOTA? We ask this question against the backdrop of recent IR debates on scale types: in particular, whether commonly used significance tests are even mathematically permissible. Recognizing these potential pitfalls in evaluation methodology, our study proposes an evaluation framework that explicitly treats certain outcomes as distinct and avoids aggregating them into a single-point metric. Empirical analysis of SOTA runs from the MS MARCO document ranking leaderboard reveals insights about how one run can be "significantly better" than another that are obscured by the current official evaluation metric (MRR@100).

研究动机与目标

• 为解决排行榜声明中缺乏显著性检验的问题，特别是信息检索领域最先进（SOTA）结果中的此类问题。
• 探究标准的 MRR@100 指标是否掩盖了运行之间在性能上的有意义差异，例如在回答问题能力与排序质量方面的改进。
• 开发一种评估框架，将不同的检索结果（如可回答性与排序质量）分开处理，以实现更细致的分析。
• 探讨信息检索中尺度类型争议（如有序尺度与比率尺度）对检索评估中统计检验的影响。
• 提供一种更透明且具有说服力的方法，用于判断新的 SOTA 运行是否真正且显著优于其前代。

提出的方法

• 提出一种两情况框架，以分解检索结果：(1) 查询是否被回答（在前 100 个结果中至少包含一个相关文档），以及 (2) 被回答查询的期望搜索长度（ESL）。
• 对每个结果分别应用显著性检验：使用二项检验评估可回答性，使用置换检验评估 ESL 差异。
• 将官方的 MRR@100 作为比较基准，但主张其混淆了不同的性能维度。
• 使用所提出的框架评估 MS MARCO 文档排序排行榜中的 10 个运行，以比较 SOTA 项。
• 在不同尺度类型假设下评估结果的稳健性，包括比较 ESL（比率尺度）与 MRR（有序尺度）的结果。
• 引入一种双准则的‘显著更好’定义，要求在可回答性和 ESL 两者中均达到统计显著性，或在其中一项显著提升而另一项无显著退化的情况下成立。

Figure 1. The leaderboard of the MS MARCO document ranking task, showing the effectiveness of runs (MRR@100) on the held-out evaluation set over time. “State of the art” (SOTA) runs are shown in red.

实验结果

研究问题

• RQ1 对 MRR@100 应用标准显著性检验，能否可靠判断新的 SOTA 运行是否真正优于前一个？
• RQ2 MRR@100 在多大程度上掩盖了检索性能中的有意义差异，例如在可回答性与排序质量方面的改进？
• RQ3 在近期信息检索评估中关于尺度类型争议的背景下，使用 ESL（比率尺度）与 MRR（有序尺度）进行显著性检验的结果有何不同？
• RQ4 一种将检索结果分解为独立可分析组件的框架，是否能提供比 MRR@100 这类单点指标更丰富的洞察？
• RQ5 在何种条件下，即使某运行在 MRR@100 上未排名第一，也可被视为显著优于另一运行？

主要发现

• MRR@100 指标将性能的两个不同方面——可回答性与排序质量——混为一谈，使得难以判断某运行的优越性是源于回答更多问题，还是更早地将相关结果排在前列。
• 运行可以在某一维度（如 ESL）上显著更优，而在另一维度（如可回答性）上无显著差异，而这种区别被 MRR@100 所掩盖。
• 当前排名第一的运行（R10）主要因其回答了更多问题而胜出，而排名第二的运行（R9）则在 ESL 上显著更优，表明其在相关文档排序方面表现更佳。
• 对 ESL 和 MRR 的显著性检验结果大体一致，表明即使在保守的尺度类型假设下（如将 MRR 视为有序尺度），该框架仍具有稳健性。
• 两个运行的 ESL 相同，但 MRR 值却可能大相径庭——例如 0.556 与 0.208——这表明 MRR 并不可靠地反映平均排名位置。
• 该框架揭示，同一团队的运行（R1、R5、R6、R7）在排序质量（ESL）上表现相当，但在可回答性上存在差异，且 MRR@100 的差异主要由情况（2）驱动，而非情况（3）。