[论文解读] Representing Documents and Queries as Sets of Word Embedded Vectors for Information Retrieval

Dwaipayan Roy, Debasis Ganguly+2 more|arXiv (Cornell University)|Jun 25, 2016

Topic Modeling参考文献 13被引用 10

一句话总结

该论文提出了一种新颖的信息检索方法，将文档和查询表示为词嵌入向量的集合，并使用高斯混合模型捕捉语义组合性。通过基于文档向量聚类的平均距离计算查询似然，该方法结合了词向量相似性与传统语言模型，使TREC和Robust在线性检索集合上的MAP提升最高达5.77%。

ABSTRACT

A major difficulty in applying word vector embeddings in IR is in devising an effective and efficient strategy for obtaining representations of compound units of text, such as whole documents, (in comparison to the atomic words), for the purpose of indexing and scoring documents. Instead of striving for a suitable method for obtaining a single vector representation of a large document of text, we rather aim for developing a similarity metric that makes use of the similarities between the individual embedded word vectors in a document and a query. More specifically, we represent a document and a query as sets of word vectors, and use a standard notion of similarity measure between these sets, computed as a function of the similarities between each constituent word pair from these sets. We then make use of this similarity measure in combination with standard IR based similarities for document ranking. The results of our initial experimental investigations shows that our proposed method improves MAP by up to $5.77\%$, in comparison to standard text-based language model similarity, on the TREC ad-hoc dataset.

研究动机与目标

• 解决使用预训练词嵌入对整个文档和查询进行有效信息检索表示的挑战。
• 克服向量平均法和doc2vec在大规模文档表示中的局限性，这些方法效率低下且不准确。
• 开发一种可扩展且有效的相似性度量方法，利用查询与文档之间成对的词向量相似性。
• 通过结合基于词向量的查询似然与标准语言模型相似性，改进文档排序。
• 探索将词向量聚类为语义概念的效用，以更好地在检索中建模文档语义。

提出的方法

• 将每个文档表示为高斯分布的混合，其中每个分量对应于从文档词语中派生出的词向量聚类。
• 将查询建模为词向量的集合，并将查询似然计算为查询向量到文档高斯中心的平均距离。
• 使用基于集合的相似性度量方法，将文档与查询之间的相似性表示为单个词向量相似性的函数。
• 将基于词向量的查询似然与标准语言模型（LM）似然相结合，用于文档打分。
• 应用相关性反馈，利用检索结果来优化查询表示并提升排序效果。
• 优化文档向量表示的聚类数量（K），以在语义粒度与性能之间取得平衡。

实验结果

研究问题

• RQ1 与传统语言模型相比，使用词嵌入的基于集合的文档和查询表示是否能提升检索性能？
• RQ2 将词向量聚类为K个语义概念如何影响文档表示与检索的有效性？
• RQ3 在标准测试集合上，表示文档的最优聚类数量（K）是多少？
• RQ4 将基于词向量的相似性与标准语言模型相似性相结合，是否在不同TREC集合中均能持续提升性能？
• RQ5 所提出的方法是否能有效用于信息检索系统中的相关性反馈与查询扩展？

主要发现

• 与标准语言模型基线相比，所提方法在TREC 6、7、8和Robust在线性检索测试集合上的平均平均精度（MAP）最高提升5.77%。
• 在TREC 8和Robust集合中，K=100个聚类时性能最佳，表明在高排名处的精确率与召回率均有显著提升。
• 对于TREC 6和7集合，单点表示法（K=1）优于K=100，表明在较小集合中100个聚类可能不足以捕捉词汇多样性。
• 语言模型与基于词向量的相似性相结合，能持续提升检索结果，尤其在TREC 8和Robust集合中提升最为显著。
• 基于“理想选择”方法（假设每查询均能选择最佳方法）的分析显示，TREC 6和Robust集合的MAP最大可提升0.0029，表明通过选择性应用仍有进一步提升空间。
• 针对每查询的分析表明，基于词向量的似然对部分查询有显著增益，而对其他查询则产生负面影响，提示存在开发自适应选择策略的空间。