[论文解读] Repeatability Corner Cases in Document Ranking: The Impact of Score Ties

Jimmy Lin, Peilin Yang|arXiv (Cornell University)|Jul 16, 2018

Information Retrieval and Search Behavior参考文献 12被引用 5

一句话总结

本文研究了在 Lucene 的多线程索引过程中，由于内部文档 ID 分配的非确定性导致的文档排序得分并列，如何破坏信息检索实验的可重复性。本文提出通过使用稳定且外部的文档 ID 来打破并列，以确保排序的确定性，代价是可测量的查询性能下降，并证明这种权衡对于信息检索系统中可靠的回归测试至关重要。

ABSTRACT

Document ranking experiments should be repeatable. However, the interaction between multi-threaded indexing and score ties during retrieval may yield non-deterministic rankings, making repeatability not as trivial as one might imagine. In the context of the open-source Lucene search engine, score ties are broken by internal document ids, which are assigned at index time. Due to multi-threaded indexing, which makes experimentation with large modern document collections practical, internal document ids are not assigned consistently between different index instances of the same collection, and thus score ties are broken unpredictably. This short paper examines the effectiveness impact of such score ties, quantifying the variability that can be attributed to this phenomenon. The obvious solution to this non-determinism and to ensure repeatable document ranking is to break score ties using external collection document ids. This approach, however, comes with measurable efficiency costs due to the necessity of consulting external identifiers during query evaluation.

研究动机与目标

• 调查在多线程 Lucene 索引中，由于非确定性的得分并列处理方式，如何破坏信息检索实验的可重复性。
• 量化得分并列对多样化测试数据集上有效性指标的影响。
• 评估通过使用外部文档 ID 打破并列以确保确定性排序所带来的性能开销。
• 倡导在信息检索系统中采用基于外部 ID 的并列打破机制，作为实现可靠回归测试的必要实践。

提出的方法

• 使用 Anserini v0.1.0 和 Lucene 6.3.0，在多个 TREC 数据集上，实证比较基于内部 ID 的不可重复排序与基于外部 ID 的可重复排序。
• 使用标准的信息检索评估指标（AP、P30）来衡量因得分并列处理方式不同而导致的有效性差异。
• 测量不可重复配置与可重复配置之间的查询评估延迟差异。
• 通过使用稳定且外部的文档标识符对结果进行排序，而非使用 Lucene 的内部文档 ID，实现确定性并列打破。
• 利用现有的 Lucene 抽象机制控制排序顺序，确保跨运行结果的一致性。
• 分析在多种文档类型中的结果表现：新闻稿、微博和网页数据集。

实验结果

研究问题

• RQ1 由于内部文档 ID 分配的非确定性所导致的得分并列，在多大程度上影响了基于 Lucene 的系统中文档排序的可重复性？
• RQ2 在不同的信息检索测试数据集中，由于任意的得分并列处理方式，AP 和 P30 指标的有效性差异有多大？
• RQ3 通过使用外部文档 ID 打破并列以确保可重复排序，其性能开销是多少？
• RQ4 该性能开销在不同查询类型和数据集之间如何变化？

主要发现

• 由于内部文档 ID 分配的非确定性所导致的得分并列，对有效性指标造成了可测量且非微小的影响，最大 AP 差异达到 0.0027，P30 差异也达到 0.0027。
• 在 TREC 2005 Robust Track（AQUAINT）中观察到最大的有效性差异，QL+RM3 的 P30 差异达到 0.0027，BM25+RM3 的 P30 差异达到 0.0020。
• 在 TREC 2013/2014 微博数据集上，使用可重复并列打破时，QL+RM3 的查询评估延迟最高上升了 90%。
• 平均而言，可重复运行比不可重复运行慢 18–26%，其中在短文本、高精度的微博查询中性能开销最大。
• 对于复杂查询（如 BM25+RM3），性能开销最为显著，因为这些查询需要扫描更多倒排列表并评分更多文档。
• 尽管有效性指标的绝对差异较小，但这种非确定性对信息检索研究中的回归测试和可重复性构成了严重威胁。