[论文解读] Random Walks on Context Spaces: Towards an Explanation of the Mysteries of Semantic Word Embeddings.

Sanjeev Arora, Yuanzhi Li+3 more|arXiv (Cornell University)|Feb 12, 2015

Topic Modeling参考文献 15被引用 38

一句话总结

本文提出了一种对数线性生成模型，解释了尽管训练过程是非线性的，语义词嵌入中为何会出现令人惊讶的线性结构。通过解析推导出共现统计与词向量之间的闭式关系，该模型表明这种结构自然地浮现出来，提供了比以往方法更简单、更具可解释性的解释，具有强有力的实证支持，并在词类比任务上表现出更优的性能。

ABSTRACT

The papers of Mikolov et al. 2013 as well as subsequent works have led to dramatic progress in solving word analogy tasks using semantic word embeddings. This leverages linear structure that is often found in the word embeddings, which is surprising since the training method is usually nonlinear. There were attempts ---notably by Levy and Goldberg and Pennington et al.--- to explain how this linear structure arises. The current paper points out the gaps in these explanations and provides a more complete explanation using a loglinear generative model for the corpus that directly models the latent semantic structure in words. The novel methodological twist is that instead of trying to fit the best model parameters to the data, a rigorous mathematical analysis is performed using the model priors to arrive at a simple closed form expression that approximately relates co-occurrence statistics and word embeddings. This expression closely corresponds to ---and a bit simpler than--- the existing training methods, and leads to good solutions to analogy tasks. Empirical support is provided also for the validity of the modeling assumptions. This methodology of letting some mathematical analysis substitute for some of the computational difficulty may be useful in other settings with generative models.

研究动机与目标

• 解决一个长期未解之谜：为何通过非线性方法训练的语义词嵌入在类比任务中会表现出线性关系？
• 识别Levy & Goldberg以及Pennington等人的先前解释在语义词嵌入中线性结构起源问题上的不足之处。
• 开发一种生成模型，明确捕捉词语中的潜在语义结构，利用共现统计。
• 推导出一个闭式解析表达式，将共现模式与词向量表示联系起来，而无需依赖迭代优化。
• 验证模型的假设，并展示其在解决词类比任务中的有效性，同时提升可解释性。

提出的方法

• 提出一种显式建模词语中潜在语义结构的语料对数线性生成模型。
• 使用模型先验进行严格的数学分析，而非通过优化拟合参数。
• 推导出一个近似共现统计与词嵌入之间关系的闭式表达式。
• 该推导出的表达式比现有训练方法（如Skip-gram）更简单，但行为却极为相似。
• 使用真实语料库数据对模型假设进行实证验证，并在词类比任务上评估性能。
• 用解析推导替代计算训练，以降低复杂度，同时保持预测能力。

实验结果

研究问题

• RQ1 为何语义词嵌入在使用非线性方法训练时，仍会在类比任务中表现出线性关系？
• RQ2 词嵌入中线性结构出现的生成过程是什么？
• RQ3 能否从共现统计中推导出无需优化的、数学上严谨的、闭式的词嵌入表达式？
• RQ4 与现有基于训练的模型相比，该提出的解析模型在解释和预测词嵌入行为方面表现如何？
• RQ5 对数线性生成模型的建模假设在真实语言语料中是否具有实证有效性？

主要发现

• 所提出的解析模型产生了一个闭式表达式，其行为与标准词嵌入训练方法极为接近。
• 推导出的表达式将词嵌入中的线性结构解释为生成模型假设的自然结果。
• 与依赖间接或不完整推理的先前方法相比，该模型提供了更简单、更具可解释性的解释。
• 实证结果支持了模型底层假设在真实语料数据中的有效性。
• 该模型在词类比任务上表现出色，证明了其实际相关性。
• 使用数学分析替代计算优化的方法，在其他生成建模场景中展现出巨大潜力。