[论文解读] Query Expansion Strategy based on Pseudo Relevance Feedback and Term Weight Scheme for Monolingual Retrieval

Rekha Vaidyanathan, Sujoy Das+1 more|arXiv (Cornell University)|Feb 18, 2015

Information Retrieval and Search Behavior参考文献 8被引用 4

一句话总结

本文提出了一种用于单语信息检索的查询扩展方法，该方法利用伪相关反馈和一种基于等频文档划分的新型词项加权方案。通过在文档分区中计算tf-idf得分，并基于最高得分、平均得分或最高关键词数量选择扩展词项，该方法在Terrier上使用FIRE 2011印地语和英语测试集时提升了检索性能，并提出了一种基于规则的模型，用于动态选择最优扩展词项。

ABSTRACT

Query Expansion using Pseudo Relevance Feedback is a useful and a popular technique for reformulating the query. In our proposed query expansion method, we assume that relevant information can be found within a document near the central idea. The document is normally divided into sections, paragraphs and lines. The proposed method tries to extract keywords that are closer to the central theme of the document. The expansion terms are obtained by equi-frequency partition of the documents obtained from pseudo relevance feedback and by using tf-idf scores. The idf factor is calculated for number of partitions in documents. The group of words for query expansion is selected using the following approaches: the highest score, average score and a group of words that has maximum number of keywords. As each query behaved differently for different methods, the effect of these methods in selecting the words for query expansion is investigated. From this initial study, we extend the experiment to develop a rule-based statistical model that automatically selects the best group of words incorporating the tf-idf scoring and the 3 approaches explained here, in the future. The experiments were performed on FIRE 2011 Adhoc Hindi and English test collections on 50 queries each, using Terrier as retrieval engine.

研究动机与目标

• 通过改进查询扩展技术，提升单语信息检索的性能。
• 通过关注词项与文档中心主题的接近程度，解决传统查询扩展方法的局限性。
• 开发一种基于等频划分的文档结构感知词项加权方案。
• 评估三种策略——最高得分、平均得分和最大关键词数量——在选择扩展词项方面的效果。
• 为基于规则的统计模型奠定基础，该模型可自动根据评分和结构标准选择最佳扩展词项组。

提出的方法

• 通过伪相关反馈检索的文档被划分为等频分区，以分析词项分布相对于文档中心主题的关系。
• 在每个分区中计算词频-逆文档频率（tf-idf）得分，其中逆文档频率（idf）基于分区数量计算。
• 采用三种不同的策略选择扩展词项：(1) 最高得分词项，(2) 各分区中得分的平均值，(3) 拥有最多高分关键词的词项组。
• 该方法假设位于文档中心思想附近的词项——通常位于中间分区——更具相关性，因此是更优的扩展候选。
• 提出一种基于规则的统计模型，通过结合tf-idf得分与三种选择策略，动态选择最优词项组。
• 实验使用Terrier检索引擎，在FIRE 2011 Adhoc印地语和英语测试集的各50个查询上进行。

实验结果

研究问题

• RQ1 将文档划分为等频段对相关扩展词项选择有何影响？
• RQ2 在三种词项选择策略中——最高得分、平均得分或最大关键词数量——哪一种能带来最佳检索性能？
• RQ3 基于规则的模型能否有效结合tf-idf评分与结构化词项选择，以提升查询扩展效果？
• RQ4 词项与文档中心主题的接近程度如何影响扩展词项的相关性？
• RQ5 与标准方法相比，所提出的词项加权方案对单语检索效果的影响如何？

主要发现

• 所提出的方法通过等频分区聚焦于文档中心主题附近的词项，显著提升了检索效果。
• 在三种选择策略中，最高得分词项方法在各类查询中均表现出最一致的性能提升。
• 平均得分和最大关键词数量策略的效果存在波动，取决于查询特征和语言类型。
• 研究结果表明文档结构显著影响词项相关性，支持采用基于分区的词项加权方法。
• 基于规则的模型被证明是动态选择最优扩展词项组的可行框架，其依据为评分与结构标准的结合。
• 该方法在FIRE 2011基准的印地语和英语测试集上均实现了可测量的检索性能提升。