[论文解读] RAND-WALK: A Latent Variable Model Approach to Word Embeddings

Sanjeev Arora, Yuanzhi Li+3 more|arXiv (Cornell University)|Feb 12, 2015

Topic Modeling参考文献 29被引用 37

一句话总结

本文提出 RAND-WALK，一种生成式潜在变量模型，利用动态对数线性主题模型推导出词统计的闭式表达式。通过将潜在词向量建模为在向量空间中均匀分布，该模型为 word2vec、GloVe 和 PMI 等非线性词嵌入方法提供了理论基础，解释了其在捕捉支持词类比求解的线性代数结构方面的成功。

ABSTRACT

Semantic word embeddings represent the meaning of a word via a vector, and are created by diverse methods. Many use nonlinear operations on co-occurrence statistics, and have hand-tuned hyperparameters and reweighting methods. This paper proposes a new generative model, a dynamic version of the log-linear topic model of~\citet{mnih2007three}. The methodological novelty is to use the prior to compute closed form expressions for word statistics. This provides a theoretical justification for nonlinear models like PMI, word2vec, and GloVe, as well as some hyperparameter choices. It also helps explain why low-dimensional semantic embeddings contain linear algebraic structure that allows solution of word analogies, as shown by~\citet{mikolov2013efficient} and many subsequent papers. Experimental support is provided for the generative model assumptions, the most important of which is that latent word vectors are fairly uniformly dispersed in space.

研究动机与目标

• 开发一种生成模型，以解释 word2vec、GloVe 和 PMI 等非线性词嵌入方法的成功。
• 为现有词嵌入模型中使用的超参数选择和重加权方案提供理论依据。
• 解释为何低维语义词嵌入表现出支持词类比求解的线性代数结构。
• 通过实验支持验证潜在词向量在嵌入空间中均匀分布的假设。

提出的方法

• 该方法采用 Mnih & Hinton (2007) 提出的对数线性主题模型的动态版本，并针对词嵌入进行了适配。
• 利用先验分布计算词共现统计的闭式表达式，从而实现嵌入属性的解析推导。
• 将潜在词向量建模为在向量空间中均匀分布，这是非线性模型理论合理性的基础。
• 该模型推导出的理论表达式与 word2vec、GloVe 和 PMI 中观察到的行为一致，尤其体现在对共现统计的非线性变换方面。
• 该框架将生成过程与语义词嵌入中观察到的线性代数结构（如支持词类比求解的结构）联系起来。
• 通过实验验证了潜在词向量在嵌入空间中均匀分布的关键假设。

实验结果

研究问题

• RQ1 如何通过生成模型解释 word2vec 和 GloVe 等非线性词嵌入方法的实证成功？
• RQ2 现有词嵌入模型中对超参数和重加权方案的选择有何理论依据？
• RQ3 为何低维语义词嵌入表现出支持词类比求解的线性代数结构？
• RQ4 潜在词向量在嵌入空间中均匀分布的假设在词嵌入模型的实际应用中在多大程度上成立？

主要发现

• 该生成模型成功推导出词统计的闭式表达式，为 word2vec、GloVe 和 PMI 中使用的非线性变换提供了理论基础。
• 实验支持了潜在词向量在嵌入空间中均匀分布的假设，验证了模型的核心假设。
• 该模型解释了为何语义词嵌入表现出支持词类比求解的线性代数结构，如 Mikolov et al. (2013) 所示。
• 理论框架为对共现统计应用非线性操作提供了合理依据，而这些操作是现代词嵌入方法的核心。
• 该模型为现有嵌入模型中超参数选择提供了原则性解释，将其与潜在的生成假设联系起来。
• 结果表明，非线性词嵌入方法的成功根植于均匀分布潜在向量的几何特性。