[论文解读] Toward Incorporation of Relevant Documents in word2vec

Navid Rekabsaz, Bhaskar Mitra+2 more|arXiv (Cornell University)|Jul 20, 2017

Topic Modeling参考文献 26被引用 6

一句话总结

本文提出了一种基于Skip-Gram模型的新颖、可解释的显式词表示方法，能够捕捉真实的共现概率，从而有效将局部查询相关文档整合到词嵌入中。该方法在检索高度相似词汇方面优于最先进（SOTA）的显式表示方法，并提出了五种函数以利用局部文档内容对全局词向量进行适应，初步结果表明其在相关性对齐方面表现更优。

ABSTRACT

Recent advances in neural word embedding provide significant benefit to various information retrieval tasks. However as shown by recent studies, adapting the embedding models for the needs of IR tasks can bring considerable further improvements. The embedding models in general define the term relatedness by exploiting the terms' co-occurrences in short-window contexts. An alternative (and well-studied) approach in IR for related terms to a query is using local information i.e. a set of top-retrieved documents. In view of these two methods of term relatedness, in this work, we report our study on incorporating the local information of the query in the word embeddings. One main challenge in this direction is that the dense vectors of word embeddings and their estimation of term-to-term relatedness remain difficult to interpret and hard to analyze. As an alternative, explicit word representations propose vectors whose dimensions are easily interpretable, and recent methods show competitive performance to the dense vectors. We introduce a neural-based explicit representation, rooted in the conceptual ideas of the word2vec Skip-Gram model. The method provides interpretable explicit vectors while keeping the effectiveness of the Skip-Gram model. The evaluation of various explicit representations on word association collections shows that the newly proposed method out- performs the state-of-the-art explicit representations when tasked with ranking highly similar terms. Based on the introduced ex- plicit representation, we discuss our approaches on integrating local documents in globally-trained embedding models and discuss the preliminary results.

研究动机与目标

• 解决在信息检索中使用的密集词嵌入缺乏可解释性的问题，尤其是在受全局共现模式影响导致主题漂移时。
• 开发一种显式词表示方法，保留Skip-Gram的有效性，同时实现向量维度的清晰可解释性。
• 探索高效方法，将局部文档信息（如前k个检索到的文档）整合到预训练的词嵌入中，以提升查询特定的词相关性。
• 评估通过可解释向量整合局部相关性信号是否能提升在词关联与相似性任务中的性能。

提出的方法

• 提出一种新的显式词表示方法，其中每个维度对应一个上下文词，向量值表示该词与上下文词之间真实共现概率，该概率源自Skip-Gram模型。
• 使用逻辑函数基于局部文档相关性对全局共现值 $v(w,c)$ 重新加权为 $\hat{v}(w,c)$，其中参数 $a$ 和 $b$ 可学习。
• 定义五种函数 $f_1$ 到 $f_5$ 以整合局部文档信息：(1) 上下文词在局部文档中的二值存在性，(2) 局部语料与全局语料中词频的相对值，(3) 局部与全局共现比率，(4) 基于文档语言模型的相关性模型，(5) 在文档语言模型下词与上下文词的联合概率。
• 使用 $\mu=1500$ 的狄利克雷平滑法估计前k个检索文档集合中文档的语言模型。
• 通过设计使向量表示具有可解释性，其维度对应于特定上下文词，从而支持因果分析与主题注入。
• 在词关联基准上评估该方法，重点关注前k个相似词检索的性能。

实验结果

研究问题

• RQ1 能否设计一种显式词表示方法，在保留Skip-Gram有效性的同时，实现向量维度的完全可解释性？
• RQ2 如何有效且高效地将局部文档信息（如前k个检索文档）整合到预训练的词嵌入中，以提升查询特定的词相关性？
• RQ3 在整合局部相关性信号（如词频、共现、语言模型）时，哪种函数能最有效地实现词向量的适应以提升信息检索任务性能？
• RQ4 所提出的方法是否在检索与查询词高度相似的词汇方面优于现有显式表示方法？

主要发现

• 所提出的显式表示方法在词关联基准测试中性能与最先进显式方法相当。
• 在检索给定词的最相似词汇任务中，该方法优于现有显式表示方法，表明其对语义相似性的敏感性有所提升。
• 仅考虑上下文词在局部文档中是否存在（$f_1$方法）的改进最小，表明词频与加权机制在相关性过滤中至关重要。
• $f_2$ 和 $f_3$ 方法（分别基于相对频率与共现比率）在提升向量适应方面展现出更强潜力。
• $f_4$ 和 $f_5$ 方法（基于相关性模型与文档语言模型下的联合概率）表现最为出色，因其同时整合了查询与文档上下文信息。
• 初步结果表明，通过可解释向量整合局部文档内容，可有效减少主题漂移，并提升信息检索任务中的相关性对齐。