[论文解读] Query Performance Prediction for Neural IR: Are We There Yet?

Guglielmo Faggioli, Thibault Formal+4 more|arXiv (Cornell University)|Feb 20, 2023

Information Retrieval and Search Behavior被引用 5

一句话总结

本文研究现有查询性能预测（QPP）模型是否能有效预测基于 BERT 和其他 PLM 的神经网络信息检索（IR）系统的性能。研究发现，当前的 QPP 方法在神经 IR 上表现显著不足，尤其是在神经模型与传统词汇模型差异最大的查询上，这削弱了 QPP 在语义检索场景中用于模型选择的实用性。

ABSTRACT

Evaluation in Information Retrieval relies on post-hoc empirical procedures, which are time-consuming and expensive operations. To alleviate this, Query Performance Prediction (QPP) models have been developed to estimate the performance of a system without the need for human-made relevance judgements. Such models, usually relying on lexical features from queries and corpora, have been applied to traditional sparse IR methods - with various degrees of success. With the advent of neural IR and large Pre-trained Language Models, the retrieval paradigm has significantly shifted towards more semantic signals. In this work, we study and analyze to what extent current QPP models can predict the performance of such systems. Our experiments consider seven traditional bag-of-words and seven BERT-based IR approaches, as well as nineteen state-of-the-art QPPs evaluated on two collections, Deep Learning '19 and Robust '04. Our findings show that QPPs perform statistically significantly worse on neural IR systems. In settings where semantic signals are prominent (e.g., passage retrieval), their performance on neural models drops by as much as 10% compared to bag-of-words approaches. On top of that, in lexical-oriented scenarios, QPPs fail to predict performance for neural IR systems on those queries where they differ from traditional approaches the most.

研究动机与目标

• 评估最先进 QPP 模型在基于 BERT 和 PLM 的现代神经网络 IR 系统上的有效性。
• 研究 QPP 模型（传统上为词汇 IR 构建）是否能泛化到语义检索范式。
• 识别特定场景——尤其是神经模型与传统模型差异最大的查询——中 QPP 性能崩溃的情况。
• 评估语义信号对 QPP 可靠性的影响，并强调开发面向神经网络 IR 的专用 QPP 方法的必要性。

提出的方法

• 在七个基于词袋的 TIR 系统和七个基于 BERT 的 NIR 模型上评估了 19 种最先进 QPP 模型。
• 使用两个标准 IR 语料库：Deep Learning '19（为神经网络优化）和 Robust '04（神经模型的零样本设置）。
• 应用了预检索和后检索 QPP 方法，包括依赖词汇和语义信号的方法。
• 使用 nDCG 和 Kendall’s tau 等标准指标，在 TIR 和 NIR 系统之间比较 QPP 性能。
• 针对 TIR 和 NIR 模型性能差异最大的查询进行消融研究，以隔离失败点。
• 分析 QPP 模型与检索系统之间的交互效应，以量化预测方差。

实验结果

研究问题

• RQ1 与传统词汇 IR 相比，当前 QPP 模型在预测神经 IR 系统性能方面的表现程度如何？
• RQ2 在神经模型与传统 IR 模型在排序效果上差异最大的查询上，QPP 性能如何变化？
• RQ3 基于语义的 QPP 方法（如 BERT-QPP）是否在神经 IR 系统上优于基于词汇的 QPP 方法？
• RQ4 当神经模型经过微调时，与零样本设置相比，QPP 模型的失败是否更加明显？
• RQ5 在实践中，QPP 模型能否可靠地用于在 TIR 和 NIR 系统之间进行选择，尤其是在具有挑战性的查询上？

主要发现

• 当前 QPP 模型在神经 IR 系统上的表现显著劣于在传统词袋 IR 系统上的表现。
• 在段落检索任务中，由于语义信号显著，QPP 性能相比 TIR 系统下降高达 10%。
• 在 TIR 和 NIR 模型性能差异最大的查询上，QPP 模型无法准确预测结果，尽管这些正是 QPP 最具价值的场景。
• 在性能差异较大的查询上，QPP 模型与检索系统之间的交互效应显著增强，表明其可靠性下降。
• 基于语义的 QPP 方法（如 BERT-QPP）虽然在词汇 IR 上表现良好，但在神经 IR 系统上表现不佳，且未能解决核心问题。
• 在 Robust '04 上，由于神经模型以零样本模式运行，QPP 性能优于 Deep Learning '19，但在神经模型与词汇模型差异最大的查询上仍表现失败。