[论文解读] Precise Zero-Shot Dense Retrieval without Relevance Labels

Luyu Gao, Xueguang Ma+2 more|arXiv (Cornell University)|Dec 20, 2022

Topic Modeling被引用 15

一句话总结

该论文提出 HyDE，一种零样本稠密检索方法，通过指令遵循型语言模型生成假设性文档以模拟相关性，再利用对比编码器的语义嵌入检索真实文档。在无需任何相关性标签或模型微调的情况下，HyDE 在多个任务和语言上实现了与微调过的稠密检索器相当的性能，显著优于无监督基线方法（如 Contriever）。

ABSTRACT

While dense retrieval has been shown effective and efficient across tasks and languages, it remains difficult to create effective fully zero-shot dense retrieval systems when no relevance label is available. In this paper, we recognize the difficulty of zero-shot learning and encoding relevance. Instead, we propose to pivot through Hypothetical Document Embeddings~(HyDE). Given a query, HyDE first zero-shot instructs an instruction-following language model (e.g. InstructGPT) to generate a hypothetical document. The document captures relevance patterns but is unreal and may contain false details. Then, an unsupervised contrastively learned encoder~(e.g. Contriever) encodes the document into an embedding vector. This vector identifies a neighborhood in the corpus embedding space, where similar real documents are retrieved based on vector similarity. This second step ground the generated document to the actual corpus, with the encoder's dense bottleneck filtering out the incorrect details. Our experiments show that HyDE significantly outperforms the state-of-the-art unsupervised dense retriever Contriever and shows strong performance comparable to fine-tuned retrievers, across various tasks (e.g. web search, QA, fact verification) and languages~(e.g. sw, ko, ja).

研究动机与目标

• 开发一种完全零样本的稠密检索系统，无需相关性监督或模型微调。
• 解决在低资源或现实场景中，由于缺乏相关性标注数据而难以实现有效稠密检索的挑战。
• 探索是否可以将相关性建模任务交由大型语言模型完成，而非依赖显式的相关性评分。
• 证明在大型语言模型生成的假设性内容引导下，无监督对比编码器仍能有效检索相关文档。

提出的方法

• 使用指令遵循型语言模型（如 InstructGPT）生成一个回答输入查询的假设性文档，以模拟相关文档。
• 使用无监督对比编码器（如 Contriever）将生成的假设性文档编码为稠密嵌入。
• 通过计算假设性文档嵌入与所有真实文档嵌入之间的余弦相似度，从语料库中检索真实文档。
• 利用对比编码器的稠密瓶颈过滤掉生成文档中的幻觉或错误细节。
• 在不同任务和语言中使用相同的编码器和语言模型主干，无需架构或超参数调整。
• 保持所有模型冻结——任何组件均未进行训练或微调。

实验结果

研究问题

• RQ1 语言模型能否在未接触真实文档的情况下，生成捕捉相关性模式的文档式响应？
• RQ2 对比编码器能否仅基于假设性（可能包含幻觉）文档的嵌入，检索出相关的真实文档？
• RQ3 在缺乏相关性标签的情况下，该零样本方法是否优于无监督稠密检索基线（如 Contriever）？
• RQ4 HyDE 在多种语言和任务上与微调过的稠密检索器相比表现如何？
• RQ5 即使未进行微调，通过生成模型输出对齐，是否能增强对比编码器的性能？

主要发现

• HyDE 在 11 个基准数据集（涵盖网络搜索、问答和事实验证任务）上显著优于无监督基线 Contriever。
• 在 TREC DL19/20 上，使用 InstructGPT 和 Contriever 的 HyDE 分别取得 NDCG@10 为 61.3 和 57.9，超过无监督的 Contriever（分别为 44.5 和 42.1）。
• 使用 1750 亿参数的 GPT 模型的 HyDE 在 DL19 上取得 NDCG@10 为 61.3，优于同一数据集上微调过的 mContriever 模型（62.1）。
• 使用更大的指令遵循型语言模型（如 Cohere 52B、GPT 175B）相比较小模型（如 Flan-T5 11B）带来一致的性能提升，表明模型规模有助于性能增强。
• 即使使用微调过的编码器，使用强大语言模型（GPT-175B）的 HyDE 进一步提升性能（DL19 上 NDCG@10 达 67.4），表明生成模型与编码器组件之间存在互补优势。
• HyDE 在多种语言（包括斯瓦希里语、韩语和日语）中展现出强大的零样本泛化能力，其性能优于非微调模型，甚至可与微调系统媲美。