[论文解读] Query Performance Prediction using Relevance Judgments Generated by Large Language Models

Chuan Meng, Negar Arabzadeh+3 more|arXiv (Cornell University)|Apr 1, 2024

Data Quality and ManagementDecision Sciences被引用 3

一句话总结

该论文提出 QPP-GenRE，一种新颖的查询性能预测框架，通过使用大语言模型（LLMs）将查询性能预测（QPP）分解为对每篇文档的独立相关性判断，从而实现对多种信息检索（IR）指标的高精度预测，并提升可解释性。该方法在 TREC-DL 19–22 上实现了最先进性能，结合了经人工标注判断微调的 LLaMA 模型与针对召回率指标的高效近似策略。

ABSTRACT

Query performance prediction (QPP) aims to estimate the retrieval quality of a search system for a query without human relevance judgments. Previous QPP methods typically return a single scalar value and do not require the predicted values to approximate a specific information retrieval (IR) evaluation measure, leading to certain drawbacks: (i) a single scalar is insufficient to accurately represent different IR evaluation measures, especially when metrics do not highly correlate, and (ii) a single scalar limits the interpretability of QPP methods because solely using a scalar is insufficient to explain QPP results. To address these issues, we propose a QPP framework using automatically generated relevance judgments (QPP-GenRE), which decomposes QPP into independent subtasks of predicting the relevance of each item in a ranked list to a given query. This allows us to predict any IR evaluation measure using the generated relevance judgments as pseudo-labels. This also allows us to interpret predicted IR evaluation measures, and identify, track and rectify errors in generated relevance judgments to improve QPP quality. We predict an item's relevance by using open-source large language models (LLMs) to ensure scientific reproducibility. We face two main challenges: (i) excessive computational costs of judging an entire corpus for predicting a metric considering recall, and (ii) limited performance in prompting open-source LLMs in a zero-/few-shot manner. To solve the challenges, we devise an approximation strategy to predict an IR measure considering recall and propose to fine-tune open-source LLMs using human-labeled relevance judgments. Experiments on the TREC 2019 to 2022 deep learning tracks and CAsT-19 and 20 datasets show that QPP-GenRE achieves state-of-the-art QPP quality for both lexical and neural rankers.

研究动机与目标

• 解决现有 QPP 方法依赖单一标量预测且缺乏可解释性的局限性。
• 克服‘一刀切’问题，即单一分数无法准确反映多样且非相关的 IR 评估指标。
• 通过生成每篇文档的相关性判断，实现可解释的 QPP，以解释预测结果。
• 通过识别并修正生成的相关性判断中的错误，提升 QPP 的质量。
• 通过使用 LLaMA 等开源大语言模型进行相关性判断生成，确保科学研究的可复现性。

提出的方法

• 将 QPP 分解为使用大语言模型预测排名列表中每篇文档相关性的子任务。
• 使用自动生成的相关性判断作为伪标签，以预测任意 IR 评估指标。
• 实施一种近似策略，仅判断有限数量的最相关文档，以估算基于召回率的指标（如 RR@10、nDCG@10）。
• 通过参数高效微调（PEFT）在人工标注的相关性判断上微调 LLaMA，以提升生成质量。
• 利用文档级别判断的独立性，实现并行推理与可扩展性。
• 将判断深度（n）作为超参数，以在 QPP 推理的准确性和计算成本之间取得平衡。

Figure 1 . Prompt used by LLMs for automatic generation of relevance judgments.

实验结果

研究问题

• RQ1 大语言模型生成的相关性判断是否能提升在多样化 IR 评估指标上的 QPP 准确性与可解释性？
• RQ2 针对基于召回率的指标所采用的近似策略，在降低计算成本的同时，如何影响 QPP 性能？
• RQ3 在人工标注判断上微调 LLaMA 对相关性判断质量的提升程度如何，进而影响 QPP 的表现？
• RQ4 QPP-GenRE 是否能在不重新训练的情况下，泛化至不同排序器（词法与神经网络排序器）及不同 IR 指标（精确率与召回率导向）？
• RQ5 在改变每查询判断文档数量时，QPP 准确性与推理延迟之间的权衡关系如何？

主要发现

• QPP-GenRE 在 TREC-DL 19–22 赛道上，对词法与神经网络排序器在精确率与召回率导向指标上均实现了最先进性能。
• 该框架在与官方 IR 指标相关性方面，显著优于现有 QPP 基线方法，如 NQA-QPP、BERTQPP、qppBERT-PL 和 M-QPPF。
• 当判断深度 n=10 时，QPP-GenRE 每查询的推理延迟为 452.60ms，低于多个监督基线方法在预测多种指标时的延迟。
• 通过 PEFT 在人工标注判断上微调 LLaMA，显著提升了生成相关性判断的质量，直接增强了 QPP 的准确性。
• 针对基于召回率指标的近似策略在大幅减少需扫描整个语料库需求的同时，仍保持了高预测准确性。
• QPP-GenRE 通过将 QPP 准确性不足转化为可观察的相关性判断错误（如误报/漏报），实现了错误分析，支持针对性的模型改进。

(a) BM25 on TREC-DL 19