[论文解读] Random walks on discourse spaces: a new generative language model with applications to semantic word embeddings

Sanjeev Arora, Yuanzhi Li+3 more|arXiv (Cornell University)|Feb 12, 2015

Topic Modeling参考文献 28被引用 20

一句话总结

该论文提出了一种对数线性生成模型，将文本语料生成建模为潜在话语空间中的随机游走，从而实现词嵌入的闭式计算。通过积分消去随机游走过程，该模型生成了简洁且可解释的词嵌入，能够解释词向量中涌现的线性代数结构，在词类比任务上优于先前的方法。

ABSTRACT

Semantic word embeddings use vector representations to represent the meaning of a word. Methods to create them include Vector Space Methods (VSMs) such as Latent Semantic Analysis (LSA), matrix factorization, generative text models such as Topic Models, and neural nets. A flurry of work has resulted from the papers of Mikolov et al.~\cite{mikolov2013efficient}. These showed how to solve word analogy tasks very well by leveraging linear structure in word embeddings even though the embeddings were created using highly nonlinear energy based models. No clear explanation is known why such linear structure emerges in low-dimensional embeddings. This paper presents a loglinear generative model---related to~\citet{mnih2007three}---that models the generation of a text corpus as a random walk in a latent discourse space. A novel methodological twist is that the model is solved in closed form by integrating out the random walk. This yields a simple method for constructing word embeddings. Experiments are presented to support the modeling assumptions as well as the efficacy of the word embeddings for solving analogies. This simple model links and provides theoretical support for several prior methods for finding embeddings, as well as provides interpretations for various linear algebraic structures in word embeddings obtained from nonlinear techniques.

研究动机与目标

• 解释尽管采用非线性训练方法，低维词嵌入中为何会涌现出线性代数结构。
• 开发一种基于潜在话语空间中随机游走的生成语言模型。
• 通过积分消去随机游走过程，为词嵌入提供闭式解。
• 统一并为先前的嵌入方法（如LSA、主题模型和神经网络）提供理论支持。
• 展示该模型在解决词类比任务以及解释嵌入中线性结构方面的有效性。

提出的方法

• 该模型将文本生成视为在潜在话语空间中的随机游走，其中每一步对应于基于与当前话语状态的接近程度选择一个词。
• 使用对数线性模型对话语状态与词之间的转移概率进行参数化，以捕捉语义关系。
• 通过积分消去随机游走过程，得到词共现概率的闭式表达式。
• 由此产生的模型通过集成共现矩阵的矩阵分解生成词嵌入。
• 该方法通过一个原则性的生成框架，将非线性训练技术（如神经网络）与嵌入中的线性代数结构联系起来。
• 该模型在文本语料上端到端训练，参数通过从集成游走过程中导出的共现统计量估计。

实验结果

研究问题

• RQ1 为何在使用高度非线性模型训练的词嵌入中会涌现出线性代数结构？
• RQ2 基于话语空间中随机游走的生成模型能否产生有效的词嵌入？
• RQ3 积分消去随机游走过程如何导致词嵌入的闭式解？
• RQ4 该模型在多大程度上统一或解释了先前的嵌入方法（如LSA和神经网络）？
• RQ5 该模型能否在保持可解释性的同时，在词类比任务上实现优异性能？

主要发现

• 该模型通过一个原则性的生成过程，成功解释了词嵌入中线性结构的涌现。
• 闭式解使得词嵌入的计算高效且可解释，无需迭代优化。
• 该模型在词类比任务上表现出色，证明了该方法的有效性。
• 该框架通过揭示其与话语空间中随机游走的联系，为先前方法（如LSA和主题模型）提供了理论支持。
• 随机游走过程的整合产生了一个连贯且数学上可处理的模型，将生成原理与嵌入中的线性代数模式联系起来。
• 该方法提供了一个统一的视角，将非线性训练过程解释为在低维空间中隐式学习线性结构。