[论文解读] When do Generative Query and Document Expansions Fail? A Comprehensive Study Across Methods, Retrievers, and Datasets

Orion Weller, Kyle Lo+5 more|arXiv (Cornell University)|Sep 15, 2023

Topic ModelingComputer Science被引用 3

一句话总结

本研究探讨了基于大语言模型（LLM）的查询和文档扩展在信息检索中何时会失效。研究发现，扩展显著提升了较弱检索器的性能，但会损害更强模型的性能，原因在于引入的噪声会降低相关性排序质量，因此建议仅在低性能或分布外设置下使用扩展，以弥合分布差距。

ABSTRACT

Using large language models (LMs) for query or document expansion can improve generalization in information retrieval. However, it is unknown whether these techniques are universally beneficial or only effective in specific settings, such as for particular retrieval models, dataset domains, or query types. To answer this, we conduct the first comprehensive analysis of LM-based expansion. We find that there exists a strong negative correlation between retriever performance and gains from expansion: expansion improves scores for weaker models, but generally harms stronger models. We show this trend holds across a set of eleven expansion techniques, twelve datasets with diverse distribution shifts, and twenty-four retrieval models. Through qualitative error analysis, we hypothesize that although expansions provide extra information (potentially improving recall), they add additional noise that makes it difficult to discern between the top relevant documents (thus introducing false positives). Our results suggest the following recipe: use expansions for weaker models or when the target dataset significantly differs from training corpus in format; otherwise, avoid expansions to keep the relevance signal clear.

研究动机与目标

• 理解基于大语言模型的查询和文档扩展是否普遍提升检索性能，还是取决于模型强度。
• 评估扩展效果在不同检索模型、数据集和分布偏移下的变化情况。
• 识别尽管增加了信息但反而导致性能下降的特定条件。
• 基于模型能力与数据分布，提供关于何时使用扩展的系统性建议。

提出的方法

• 本研究在24种检索模型和12个数据集上，对11种扩展技术进行了评估，涵盖多种分布偏移。
• 采用标准化评估协议，使用标准信息检索指标（如MRR、Recall）在BEIR及其他基准数据集上进行评估。
• 通过指令微调的大语言模型（如GPT-3.5、Llama-2）生成额外的查询或文档文本，实现扩展。
• 分析比较了在第一阶段检索器（如BM25、ColBERT、bi-encoder）和重排序器（如BERT、DeBERTa）中，启用与禁用扩展时的性能表现。
• 开展定性错误分析，以检查失败模式，特别是顶级结果中的误报情况。
• 使用统计相关性分析量化检索器性能与扩展增益之间的关系。

Figure 1: Methods like query expansion and document expansion typically improve performance when used with weaker models but not for stronger models; more accurate models generally lose relevance signal when expansions are provided. Best expansion and model results taken from those in Table 1 .

实验结果

研究问题

• RQ1 RQ1：检索模型的性能如何影响基于大语言模型的查询和文档扩展带来的收益？
• RQ2 RQ2：不同类型分布偏移（如领域、格式、相关性、查询长度）如何影响扩展的有效性？
• RQ3 RQ3：为何尽管增加了潜在有用信息，扩展仍会损害更强的检索模型？
• RQ4 RQ4：是否存在某些特定条件，使得扩展即使对强模型也能持续提升性能？

主要发现

• 检索器性能与扩展增益之间存在强烈负相关关系：弱模型受益，而强模型则持续出现性能下降。
• 扩展对强模型的负面影响在11种扩展技术、12个数据集和24种检索模型中均成立，表明这是一种普遍趋势。
• 扩展通过增加相关上下文提升了召回率，但引入了噪声，导致精确率下降，从而在顶级结果中产生更多误报。
• 唯一例外是长查询偏移场景，扩展对所有模型（包括强模型）均有帮助，表明查询长度是扩展有效性的关键因素。
• 在格式偏移场景中，扩展无法带来超出强模型已有性能的额外增益。
• 结果表明，应避免在强模型上使用扩展，以保留清晰的相关性信号；扩展最有效的使用场景是弱模型或分布外设置。

Figure 2: Effect of expansion over twelve datasets. For each dataset, markers show base performance for models, while the boxplot indicates the range of changes in scores for document and/or query expansion. Across all datasets and models, we note a consistent trend: models with lower base performan