[论文解读] The Simplest Thing That Can Possibly Work: Pseudo-Relevance Feedback Using Text Classification

Jimmy Lin|arXiv (Cornell University)|Apr 18, 2019

Machine Learning and Data Classification参考文献 24被引用 7

一句话总结

本文提出了一种简单但有效的伪相关反馈方法：基于初始BM25或RM3排序结果，对伪标注的相关与非相关文档进行文本分类器训练，然后通过检索得分与分类器得分的线性插值进行重排序。该方法在多个新闻语料库上显著且可叠加地超越了RM3等强基线模型，证明即使简单的模型也能提取出超越现有反馈技术的相关性信号。

ABSTRACT

Motivated by recent commentary that has questioned today's pursuit of ever-more complex models and mathematical formalisms in applied machine learning and whether meaningful empirical progress is actually being made, this paper tries to tackle the decades-old problem of pseudo-relevance feedback with "the simplest thing that can possibly work". I present a technique based on training a document relevance classifier for each information need using pseudo-labels from an initial ranked list and then applying the classifier to rerank the retrieved documents. Experiments demonstrate significant improvements across a number of newswire collections, with initial rankings supplied by "bag of words" BM25 as well as from a well-tuned query expansion model. While this simple technique draws elements from several well-known threads in the literature, to my knowledge this exact combination has not previously been proposed and evaluated.

研究动机与目标

• 为信息检索中的伪相关反馈这一长期问题提供一种最小化且可解释的方法。
• 检验基于初始排序列表中伪标注文档训练的简单文本分类器，是否能显著提升检索效果。
• 探究该方法是否在强反馈技术（如RM3）基础上提供可叠加的增益，从而表明其捕捉到了现有反馈技术未利用的相关性信号。
• 通过证明简单而精心设计的技术可取得强劲的实证结果，挑战信息检索领域日益复杂的模型趋势。

提出的方法

• 该方法基于标准检索得分，将初始排序列表中的前r篇文档视为伪相关，后n篇视为伪非相关。
• 使用这些伪标注文档的tf-idf向量表示，训练一个文本分类器（逻辑回归、SVM或集成模型）。
• 训练好的分类器为基线排序中的所有文档分配得分，该得分与原始检索得分通过线性插值结合：最终得分 = α × 检索得分 + (1−α) × 分类器得分。
• 通过五折交叉验证调整α值，生成最终排序列表。
• 该方法在四个新闻语料库上分别使用BM25和RM3作为基线检索模型进行应用。
• 该方法完全无监督，仅依赖初始排序列表，无需人工标注的相关性判断。

实验结果

研究问题

• RQ1 基于初始排序列表中伪标注文档训练的简单文本分类器，是否能显著提升检索效果？
• RQ2 该方法是否在强基线（如RM3）基础上提供可叠加的增益，表明其捕捉到了现有反馈技术未利用的相关性信号？
• RQ3 该方法的性能与TREC评估中的最先进自动运行结果相比如何？
• RQ4 分类器在多大程度上改变了排序列表的顺序？这种排序顺序的改变是否与平均精度的变化相关？

主要发现

• 该方法在所有四个新闻语料库上均显著优于BM25基线，Robust04和Core17的均平均精度（MAP）提升均超过10%。
• 在Robust05和Core17上，所有改进均具有统计显著性；在Core18上，SVM模型虽绝对提升较小，但同样具有显著性。
• 该方法在RM3基础上提供了可叠加的改进，所有语料库上均具有统计显著性，表明其捕捉到了RM3未利用的相关性信号。
• 基于分类器的重排序导致文档排名发生显著变化，尤其在早期排名之外（如超过第50名），表现为基线排序与最终排序之间的Kendall’s τ相关性下降。
• 在大多数情况下，逻辑回归略优于SVM，但所有语料库上差异均无统计显著性。
• 模型集成未带来优于单个分类器的性能提升，表明在此设置下简单模型已足够，集成并未改善性能。