[论文解读] Relevance-based Word Embedding

Hamed Zamani, W. Bruce Croft|arXiv (Cornell University)|May 9, 2017

Topic Modeling参考文献 35被引用 20

一句话总结

本文提出了两种无监督神经网络模型——相关性似然最大化（RLM）与相关性后验估计（RPE）——基于查询-文档相关性而非词项邻近性来学习词嵌入。在六百万个查询及其排名靠前的文档上进行训练后，这些模型在查询扩展和查询分类任务中显著优于 word2vec 和 GloVe，表明基于相关性的学习更能捕捉信息检索相关的语义关系。

ABSTRACT

Learning a high-dimensional dense representation for vocabulary terms, also known as a word embedding, has recently attracted much attention in natural language processing and information retrieval tasks. The embedding vectors are typically learned based on term proximity in a large corpus. This means that the objective in well-known word embedding algorithms, e.g., word2vec, is to accurately predict adjacent word(s) for a given word or context. However, this objective is not necessarily equivalent to the goal of many information retrieval (IR) tasks. The primary objective in various IR tasks is to capture relevance instead of term proximity, syntactic, or even semantic similarity. This is the motivation for developing unsupervised relevance-based word embedding models that learn word representations based on query-document relevance information. In this paper, we propose two learning models with different objective functions; one learns a relevance distribution over the vocabulary set for each query, and the other classifies each term as belonging to the relevant or non-relevant class for each query. To train our models, we used over six million unique queries and the top ranked documents retrieved in response to each query, which are assumed to be relevant to the query. We extrinsically evaluate our learned word representation models using two IR tasks: query expansion and query classification. Both query expansion experiments on four TREC collections and query classification experiments on the KDD Cup 2005 dataset suggest that the relevance-based word embedding models significantly outperform state-of-the-art proximity-based embedding models, such as word2vec and GloVe.

研究动机与目标

• 解决传统词嵌入目标（词项邻近性）与信息检索主要目标（相关性建模）之间的不匹配问题。
• 开发无监督、离线的词嵌入模型，从相关性信号中学习，而无需在推理时进行实时检索。
• 通过基于相关性分布学习的嵌入表示，改进下游信息检索任务，如查询扩展和查询分类。
• 评估基于相关性的嵌入是否在真实世界的信息检索应用中比基于邻近性的嵌入（如 word2vec、GloVe）泛化能力更强。
• 研究训练数据规模和嵌入维度对模型性能的影响。

提出的方法

• 相关性似然最大化（RLM）模型为每个查询学习词汇表中词项的概率分布，估算每个词在与该查询相关的文档中出现的可能性。
• 相关性后验估计（RPE）模型使用二分类目标，将每个词项分类为与给定查询相关或不相关。
• 两种模型均在离线设置下进行训练，使用超过六百万个查询及其排名靠前的检索文档（假设为相关文档）。
• 模型采用神经网络架构，并结合高效的训练算法，以支持大规模训练数据的可扩展性。
• 训练数据通过自动方式生成，无需人工标注的相关性，从而实现完全无监督学习。
• 模型在 TREC 数据集（AP、Robust、ClueWeb09、ClueWeb12）和 KDD Cup 2005 数据集上进行外部评估。

实验结果

研究问题

• RQ1 基于查询-文档相关性信号训练的词嵌入是否能在信息检索任务中超越基于邻近性的模型（如 word2vec 和 GloVe）？
• RQ2 在查询扩展和查询分类任务中，基于相关性的嵌入与基于邻近性的嵌入相比表现如何？
• RQ3 嵌入维度对基于相关性的模型性能有何影响？
• RQ4 需要多少训练数据才能学习到有效的基于相关性的词嵌入？
• RQ5 为何 RPE 在查询分类任务中优于 RLM，而 RLM 在查询扩展任务中表现更优？

主要发现

• 在四个 TREC 数据集的查询扩展任务中，基于相关性的词嵌入显著优于 word2vec 和 GloVe，检索性能提升源于更优的术语选择。
• 基于相关性的模型生成的扩展术语与整个查询的语义更加一致，而基于邻近性的模型则更关注单个词项。
• 在 KDD Cup 2005 数据集的查询分类任务中，RLM 和 RPE 均优于基线模型，其中 RPE 取得了更高的 F1 和精确率分数。
• 两种模型的性能均随嵌入维度增加而提升，并在超过 400 维后趋于稳定。
• 至少需要四百万个训练查询才能实现性能稳定，且 RLM 达到最优性能所需的数据量多于 RPE。
• 敏感性分析表明，基于相关性的模型对超参数选择具有鲁棒性，并能随数据规模有效扩展。