[论文解读] Using Word Embeddings for Automatic Query Expansion

Dwaipayan Roy, Debjyoti Paul+2 more|arXiv (Cornell University)|Jun 24, 2016

Topic Modeling参考文献 7被引用 86

一句话总结

本文提出一种基于word2vec嵌入的查询扩展方法，通过在嵌入空间中使用k近邻检索语义相关术语，以提升即时信息检索的效果。尽管该方法优于基线模型，但与基于统计反馈的RM3方法相比仍存在显著差距，表明仅依靠词嵌入的语义相似性在查询扩展中效果不如共现统计特征。

ABSTRACT

In this paper a framework for Automatic Query Expansion (AQE) is proposed using distributed neural language model word2vec. Using semantic and contextual relation in a distributed and unsupervised framework, word2vec learns a low dimensional embedding for each vocabulary entry. Using such a framework, we devise a query expansion technique, where related terms to a query are obtained by K-nearest neighbor approach. We explore the performance of the AQE methods, with and without feedback query expansion, and a variant of simple K-nearest neighbor in the proposed framework. Experiments on standard TREC ad-hoc data (Disk 4, 5 with query sets 301-450, 601-700) and web data (WT10G data with query set 451-550) shows significant improvement over standard term-overlapping based retrieval methods. However the proposed method fails to achieve comparable performance with statistical co-occurrence based feedback method such as RM3. We have also found that the word2vec based query expansion methods perform similarly with and without any feedback information.

研究动机与目标

• 探究词嵌入是否能提升即时检索中的自动查询扩展（AQE）效果。
• 评估基于word2vec嵌入的k近邻（kNN）扩展方法在有无相关性反馈情况下的有效性。
• 将基于嵌入的AQE方法与成熟的基于反馈的技术（如RM3）进行比较。
• 分析基于嵌入的扩展在不同查询类型中是否表现一致。
• 探索将词嵌入与共现统计相结合以进一步提升AQE性能的潜力。

提出的方法

• 使用word2vec为词汇表中所有词语生成密集的低维向量表示，以捕捉语义和句法关系。
• 在查询扩展中，利用余弦相似度在嵌入空间中检索每个查询词的k个最近邻。
• 基于候选扩展词与所有查询词的平均余弦相似度选择扩展项，形成扩展查询集合。
• 评估三种变体：预检索kNN（无反馈）、后检索kNN（基于反馈的搜索空间）和增量kNN（迭代优化）。
• 增量方法通过相关性反馈逐步修剪搜索空间，实现迭代式邻居计算，提升效率与聚焦性。
• 使用标准指标（如MAP和P@10）在TREC即时检索（Disk 4,5）和WT10G网络数据集上评估检索效果。

实验结果

研究问题

• RQ1 与基线方法相比，使用word2vec嵌入的kNN进行查询扩展是否能提升检索效果？
• RQ2 通过引入相关性反馈，能否进一步提升基于嵌入的查询扩展性能？
• RQ3 基于word2vec的AQE性能与成熟的RM3反馈方法相比如何？
• RQ4 是否存在某些特定类型的查询，使得基于嵌入的扩展表现更好或更差？
• RQ5 将词嵌入与共现统计相结合，能否进一步增强AQE性能？

主要发现

• 所提出的基于word2vec的查询扩展方法在TREC即时检索和WT10G网络数据集上均显著优于未扩展的基线模型。
• 预检索与后检索kNN方法表现相近，无显著统计差异，表明反馈并未增强基于嵌入的相似度度量。
• 增量kNN方法在基于嵌入的方法中表现最佳，在TREC 451-550数据集上MAP达0.2956，显著优于基线。
• 尽管有所改进，所有基于嵌入的方法仍被RM3显著超越，后者在相同数据集上MAP达0.3304，表明共现统计比单一语义相似性更有效。
• 增量方法总体安全，多数查询性能得到提升，仅少数查询受损，经逐查询分析验证。
• 研究发现，仅靠word2vec嵌入无法捕捉有效查询扩展所依赖的关键共现模式，这解释了与RM3之间的性能差距。