[论文解读] NPRF: A Neural Pseudo Relevance Feedback Framework for Ad-hoc Information Retrieval

Canjia Li, Yingfei Sun+6 more|arXiv (Cornell University)|Oct 30, 2018

Topic Modeling参考文献 23被引用 7

一句话总结

本文提出NPRF，一种新颖的神经伪相关反馈框架，通过将排名靠前的文档作为反馈查询来提升神经信息检索模型的相关性评分。通过利用学习到的神经匹配函数建模目标文档与多个反馈文档之间的交互，NPRF在两个TREC即时检索基准测试中显著提升性能，且在不同类型的查询和模型架构中均表现出一致的性能增益。

ABSTRACT

Pseudo-relevance feedback (PRF) is commonly used to boost the performance of traditional information retrieval (IR) models by using top-ranked documents to identify and weight new query terms, thereby reducing the effect of query-document vocabulary mismatches. While neural retrieval models have recently demonstrated strong results for ad-hoc retrieval, combining them with PRF is not straightforward due to incompatibilities between existing PRF approaches and neural architectures. To bridge this gap, we propose an end-to-end neural PRF framework that can be used with existing neural IR models by embedding different neural models as building blocks. Extensive experiments on two standard test collections confirm the effectiveness of the proposed NPRF framework in improving the performance of two state-of-the-art neural IR models.

研究动机与目标

• 解决将伪相关反馈（PRF）与现代神经IR模型集成的挑战，因为这些模型缺乏原生的反馈集成机制。
• 克服传统PRF方法与神经架构之间的不兼容性，后者通常对扩展词项一视同仁，而未能利用文档级别的上下文信息。
• 开发一种通用的、端到端的框架，可无缝集成到现有神经IR模型中，而无需修改其架构。
• 在不同神经IR模型和查询类型（包括短查询和自然语言查询）上验证该框架的有效性。
• 建立一个稳健、模块化的框架，使神经模型能够通过文档与文档之间的交互，从排名靠前文档中的相关性信号中获益。

提出的方法

• 使用初始排序模型（如BM25）为给定查询检索前-m篇文档，形成反馈集合$D_q$。
• 将每篇排名靠前的文档$d_q \in D_q$视为代理查询，并通过神经匹配模型$\mathit{rel_d}(d_q, d)$计算其与目标文档$d$的相关性。
• 利用其初始相关性得分$\mathit{rel_q}(q, d_q)$作为置信度估计器，对每篇反馈文档的贡献进行加权。
• 将所有反馈文档的加权相关性得分合并，生成目标文档的最终相关性得分$\mathit{rel_D}(q, D_q, d)$。
• 将该框架与最先进的神经IR模型（如DRMM和K-NRM）集成，作为$\mathit{rel_d}$组件，同时保持其原始架构不变。
• 通过将整个流程视为可微分的流水线，实现端到端的训练与推理，支持基于梯度的优化。

实验结果

研究问题

• RQ1 能否设计一种神经伪相关反馈框架，使其在不修改架构的前提下，兼容多种神经IR模型？
• RQ2 NPRF框架在标准即时检索基准测试中，对最先进的神经IR模型的性能提升效果如何？
• RQ3 NPRF是否能在不同类型的查询（如短查询和自然语言查询）上均实现性能提升？
• RQ4 在不同超参数（如反馈文档数量）下，NPRF框架的鲁棒性如何？
• RQ5 该框架是否能有效利用文档与文档之间的交互，以减少词汇不匹配并提升相关性估计？

主要发现

• NPRF在两个标准TREC即时检索数据集上显著提升了两种最先进的神经IR模型——DRMM和K-NRM的性能。
• 该框架在短查询和自然语言查询上均实现了稳定的性能增益，展现出广泛的适用性。
• 尽管在未使用NPRF时DRMM的初始性能低于K-NRM，但在引入NPRF后，两种模型的性能达到相近水平，表明该框架具有平衡模型性能的能力。
• 该框架对超参数变化（如反馈文档数量）具有鲁棒性，在不同配置下均表现出稳定提升。
• 通过神经交互建模，将排名靠前的文档作为反馈查询，能有效减少词汇不匹配并增强相关性估计。
• NPRF与现有神经模型的集成过程无缝且无需修改架构，证实了其模块化与通用性。