[论文解读] Zero-Shot Listwise Document Reranking with a Large Language Model

Xueguang Ma, Xinyu Zhang+2 more|arXiv (Cornell University)|May 3, 2023

Text and Document Classification Technologies被引用 20

一句话总结

本论文提出 LRL，一种使用 GPT-3 的零-shot 列表排序重排器，用于对查询重新排序候选文档列表，相较于在 TREC DL 数据集和多语言 MIRACL 数据上的零-shot 点对点重排器有所提升，且无需任务特定训练。

ABSTRACT

Supervised ranking methods based on bi-encoder or cross-encoder architectures have shown success in multi-stage text ranking tasks, but they require large amounts of relevance judgments as training data. In this work, we propose Listwise Reranker with a Large Language Model (LRL), which achieves strong reranking effectiveness without using any task-specific training data. Different from the existing pointwise ranking methods, where documents are scored independently and ranked according to the scores, LRL directly generates a reordered list of document identifiers given the candidate documents. Experiments on three TREC web search datasets demonstrate that LRL not only outperforms zero-shot pointwise methods when reranking first-stage retrieval results, but can also act as a final-stage reranker to improve the top-ranked results of a pointwise method for improved efficiency. Additionally, we apply our approach to subsets of MIRACL, a recent multilingual retrieval dataset, with results showing its potential to generalize across different languages.

研究动机与目标

• 在多阶段检索管线中，动机化无标注数据的零-shot 重排。
• 提出一种利用大型语言模型对候选文档重新排序的列表式重排器。
• 在多样数据集（TREC DL、MIRACL）上对比列表式与点式的零-shot 重排。
• 展示使用 GPT-3 的多语言零-shot 重排的潜力。
• 探索实际考虑因素，如提示设计和渐进式重排以应对输入长度限制。

提出的方法

• 描述一种列表式重排，其中 LLM 输出给定查询的文档标识符的有序列表。
• 设计提示以引出按相关性排序的段落列表，并为公平比较（PRL）设计一个基线点式提示。
• 使用滑动窗口渐进式重排策略以处理超出模型输入限制的长候选列表。
• 在 DL19/DL20/DL21 以及 MIRACL 多语言数据集上，将零-shot LRL 与 BM25、Contriever、UPR 和 PRL 进行对比评估。
• 报告性能指标（nDCG@10、MRR@10）以量化相对于基线的提升。

实验结果

研究问题

• RQ1 零-shot 列表式重排器是否能在标准和多语言检索基准上优于零-shot 点式重排器？
• RQ2 在零-shot 设置下，是否同时考虑多个文档能够提供比独立文档评分更好的重排信号？
• RQ3 作为最终阶段的重排器，LRL 如何在提高前Top结果的同时保持效率？
• RQ4 该方法是否可以在像 MIRACL 这样的多语言数据集上实现跨语言泛化？

主要发现

• LRL 在三组 TREC DL 数据集上，分别比零-shot点式重排器（如 UPR、PRL）高出大约 6 和 3 个 nDCG@10 点（平均值）。
• LRL 在 MIRACL 多语言数据上显著优于 BM25，在部分语言上有显著的 nDCG@10 提升。
• 将 LRL 作为额外的重排阶段（前 10/20）可进一步超越点式方法，表明列表式重排对前置排序信号更强。
• 在某些情境下，LRL 的零-shot 性能接近甚至超过某些有监督的密集检索器，凸显基于 LLM 的零-shot 重排潜力。
• 在非英语语言（中文、斯瓦希里语、约鲁巴语）上的实验表明跨语言的潜在泛化能力。