[论文解读] Promptagator: Few-shot Dense Retrieval From 8 Examples

Zhuyun Dai, Vincent Y. Zhao+8 more|arXiv (Cornell University)|Sep 23, 2022

Topic Modeling被引用 46

一句话总结

Promptagator 使用一个少样本提示式的 LLM 查询生成器来创建合成的任务特定数据，训练小型端到端双编码检索器，在 BEIR 任务上超越基于 MS MARCO 训练的模型，并附带额外的重排序提升。

ABSTRACT

Much recent research on information retrieval has focused on how to transfer from one task (typically with abundant supervised data) to various other tasks where supervision is limited, with the implicit assumption that it is possible to generalize from one task to all the rest. However, this overlooks the fact that there are many diverse and unique retrieval tasks, each targeting different search intents, queries, and search domains. In this paper, we suggest to work on Few-shot Dense Retrieval, a setting where each task comes with a short description and a few examples. To amplify the power of a few examples, we propose Prompt-base Query Generation for Retriever (Promptagator), which leverages large language models (LLM) as a few-shot query generator, and creates task-specific retrievers based on the generated data. Powered by LLM's generalization ability, Promptagator makes it possible to create task-specific end-to-end retrievers solely based on a few examples {without} using Natural Questions or MS MARCO to train %question generators or dual encoders. Surprisingly, LLM prompting with no more than 8 examples allows dual encoders to outperform heavily engineered models trained on MS MARCO like ColBERT v2 by more than 1.2 nDCG on average on 11 retrieval sets. Further training standard-size re-rankers using the same generated data yields another 5.0 point nDCG improvement. Our studies determine that query generation can be far more effective than previously observed, especially when a small amount of task-specific knowledge is given.

研究动机与目标

• 突出检索任务的多样性以及对任务特定的少样本检索设置的需求。
• 提出 Promptagator，通过 LLM 提示生成任务特定的合成训练数据，而无需微调。
• 证明在生成数据上训练的小型双编码检索器在 BEIR 任务上可以超越基于 MS MARCO 训练的模型。
• 展示在同一数据上训练的后续重排序器可带来额外的性能提升。

提出的方法

• 在 BEIR 上定义一个少样本检索设置，每个任务包含 2–8 个领域内示例。
• 使用一个大型语言模型（FLAN 137B）在任务描述和少量示例的条件下生成合成查询。
• 通过在合成数据上训练初步检索器并保留源文档排序靠前的配对来应用往返一致性筛选。
• 在合成数据上训练一个以 T5 为基础的编码器初始化的双编码检索器，然后在筛选后的数据上进行微调。
• 在同一合成数据上训练一个跨注意力重排序器（Promptagator++）以细化前 Top 候选。
• 提供 Promptagator 的零样本和少样本变体，并与基于 MS MARCO 训练的基线进行比较。

实验结果

研究问题

• RQ1 在没有领域内标注的查询-文档对的情况下，少样本提示式数据生成范式是否能够实现有效的端到端密集检索？
• RQ2 在一致性筛选的帮助下，基于提示的合成数据质量如何影响在多样化 BEIR 任务上的检索性能？
• RQ3 少样本与零样本提示生成数据在检索与重排序性能上的对比影响是什么？
• RQ4 Promptagator 与基于 MS MARCO 训练的基线以及在 BEIR 上的专业化重排序器相比如何？

主要发现

• 零样本 Promptagator 建立了一个强基线，可与基于 MS MARCO 数据训练的基线相媲美。
• 少样本 Promptagator 相較于零样本显著提升，在 BEIR 数据集上平均 nDCG@10 提升超过 2 点。
• Promptagator 在 11 个 BEIR 任务上超越强大的 MS MARCO 训练模型，如 ColBERT v2 和 SPLADE v2。
• Promptagator++（一个跨注意力重排序器）在 Promptagator 的基础上再提高约 5 点 nDCG@10，超过了若干重排序方法。
• 一致性筛选提升了大多数数据集上的性能，并证明了合成数据质量控制的价值。