[论文解读] The Expando-Mono-Duo Design Pattern for Text Ranking with Pretrained Sequence-to-Sequence Models

Ronak Pradeep, Rodrigo Nogueira+1 more|arXiv (Cornell University)|Jan 14, 2021

Topic Modeling参考文献 61被引用 40

一句话总结

该论文提出 Expando-Mono-Duo，这是一个使用预训练序列到序列模型的多阶段文本排序设计，包括文档扩展和两阶段再排序（monoT5 和 duoT5），在多个基准上得到验证并提供开源实现。

ABSTRACT

We propose a design pattern for tackling text ranking problems, dubbed "Expando-Mono-Duo", that has been empirically validated for a number of ad hoc retrieval tasks in different domains. At the core, our design relies on pretrained sequence-to-sequence models within a standard multi-stage ranking architecture. "Expando" refers to the use of document expansion techniques to enrich keyword representations of texts prior to inverted indexing. "Mono" and "Duo" refer to components in a reranking pipeline based on a pointwise model and a pairwise model that rerank initial candidates retrieved using keyword search. We present experimental results from the MS MARCO passage and document ranking tasks, the TREC 2020 Deep Learning Track, and the TREC-COVID challenge that validate our design. In all these tasks, we achieve effectiveness that is at or near the state of the art, in some cases using a zero-shot approach that does not exploit any training data from the target task. To support replicability, implementations of our design pattern are open-sourced in the Pyserini IR toolkit and PyGaggle neural reranking library.

研究动机与目标

• 提出一个可重复使用的文本排序设计模式，将文档扩展与 seq-to-seq 模型结合在一个多阶段管道中。
• 在多种临时检索任务和领域中（包括零样本设置）证明有效性。
• 提供端到端描述和消融分析，以量化组件贡献。
• 提供开源实现以支持复现实验和采用。

提出的方法

• 在标准多阶段排名架构上扩展，增加初始文档扩展阶段（Expando），使用预训练的序列到序列模型生成查询式扩展并附加到每个文档。
• 通过倒排索引的关键词检索实现第一阶段以产生候选集（BM25）。
• 引入两阶段再排序管线，先用 monoT5（点对点）再用 duoT5（成对）来利用预训练的 seq-to-seq transformer 改善排序。
• 描述 monoT5 和 duoT5 的输入输出格式，包括如何产生概率以及成对得分的聚合方式（Sum, Sum-Log, Sym-Sum, Sym-Sum-Log）。
• 讨论对长文本的实际考虑，以及在再排序输入中排除扩展查询以避免噪声和输入长度问题的选择。
• 提供部署细节并使用 Pyserini IR toolkit 和 PyGaggle 神经再排序库复现实验。

实验结果

研究问题

• RQ1 Expando-Mono-Duo 模式是否在多种临时检索任务中达到或接近状态-of-the-art 的效果？
• RQ2 通过 seq-to-seq 模型进行文档扩展是否能在不需要特定任务微调的情况下改进初始检索性能？
• RQ3 Mono 与 Duo 组件及其聚合策略对最终排序质量有何影响？
• RQ4 将该模式应用于新任务/数据集时的零样本性能如何？
• RQ5 在部署 Expando-Mono-Duo 时有哪些实际考虑（如输入长度、计算成本）？

主要发现

• 使用 seq-to-seq 模型进行文档扩展可在索引之前丰富表示，从而改善第一阶段检索。
• 使用 monoT5 和 duoT5 的两阶段再排序管线在若干基准上达到或接近最先进水平。
• 零样本设置在不进行任务特定微调的情况下也能取得较强结果，展示了该模式的通用性。
• 消融分析量化 Expando、Mono、Duo 组件对总体性能的贡献。
• 该方法已在开源工具（Pyserini IR toolkit 和 PyGaggle）中实现，支持可重复性。