[论文解读] Overview of the TREC 2022 deep learning track

Nick Craswell, Bhaskar Mitra+5 more|ArXiv.org|Jul 10, 2025

Topic Modeling参考文献 32被引用 15

一句话总结

本文报告第四届 TREC 深度学习赛道，聚焦通过更大的基于 MS MARCO 的测试集进行段落排序，并从段落判断推断文档排序；在大规模预训练的神经排序中传统方法表现更佳，测试集强调可重用性。

ABSTRACT

This is the fourth year of the TREC Deep Learning track. As in previous years, we leverage the MS MARCO datasets that made hundreds of thousands of human annotated training labels available for both passage and document ranking tasks. In addition, this year we also leverage both the refreshed passage and document collections that were released last year leading to a nearly $16$ times increase in the size of the passage collection and nearly four times increase in the document collection size. Unlike previous years, in 2022 we mainly focused on constructing a more complete test collection for the passage retrieval task, which has been the primary focus of the track. The document ranking task was kept as a secondary task, where document-level labels were inferred from the passage-level labels. Our analysis shows that similar to previous years, deep neural ranking models that employ large scale pretraining continued to outperform traditional retrieval methods. Due to the focusing our judging resources on passage judging, we are more confident in the quality of this year's queries and judgments, with respect to our ability to distinguish between runs and reuse the dataset in future. We also see some surprises in overall outcomes. Some top-performing runs did not do dense retrieval. Runs that did single-stage dense retrieval were not as competitive this year as they were last year.

研究动机与目标

• 在扩展的 MS MARCO 数据集和更新的集合中，对 ad hoc 检索方法进行基准测试。
• 提高测试集合的可重用性以用于段落排序，并将段落判断传播到文档排序。
• 研究深度学习模型的有效性，包括大规模预训练，与传统检索方法对比。
• 评估单阶段密集检索在 2022 年是否仍具竞争力。
• 提供提交类型、评估指标和数据集设计决策的详细分析。

提出的方法

• 使用 MS MARCO v2 数据集进行段落和文档排序任务。
• 将评估重点放在段落排序作为主要任务，并从段落标签推断文档排序。
• 引入查询采样变更以增加难度并减少分数饱和；仅评估段落并将标签传播到文档。
• 对近重复段落进行聚类，以便在同一类别内仅判定一个代表，并在类内传播标签。
• 使用标准信息检索指标（NDCG@10、NCG@100、AP）结合 NIST 评判进行评估；主要指标为 NDCG@10。
• 将提交分为 trad、nn、nnlm；分析流行程度以及 fullrank/dense 检索的使用情况。

实验结果

研究问题

• RQ1 2022 年深度学习赛道的表现如何在使用大规模预训练的神经排序模型与传统检索方法之间进行比较？
• RQ2 将判断聚焦在段落并传播到文档对文档级排序的可靠性有何影响？
• RQ3 在 2022 年，单阶段密集检索是否仍具竞争力，与前几年的情况相比？
• RQ4 查询抽样和数据集设计选择如何影响测试集合的可区分性和可重用性？
• RQ5 在段落和文档排序任务中，使用大型预训练模型（nnlm）在多大程度上驱动性能提升？

主要发现

• 带有大规模预训练的神经排序在各任务中持续优于传统检索方法。
• 一些表现最好的运行并未使用密集检索，且单阶段密集检索在 2022 年并不总是最强。
• 在提交中，基于 nnlm 的方法占主导（约 85%），传统方法下降，表明趋向于预训练模型管线。
• 强调对段落判断并传播到文档支持更可重用的测试集合，神经方法与传统方法之间的性能差距更大。
• 更高比例的全部排序提交表明在端到端检索设置中，神经方法的采用在增加。
• 评估显示与 2021 年相比，2022 年测试集合在可区分性和可重用性方面有所提升。