[论文解读] word2vec Explained: deriving Mikolov et al.'s negative-sampling word-embedding method

Yoav Goldberg, Omer Levy|arXiv (Cornell University)|Feb 15, 2014

Topic Modeling参考文献 2被引用 1,299

一句话总结

本文对Mikolov等人提出的word2vec中的负采样方法提供了清晰的推导与解释，展示了如何通过训练正样本（真实）词-上下文对与负采样（虚假）对，来高效近似skip-gram模型中计算成本高昂的softmax。其主要贡献在于对负采样目标函数进行了严谨且直观的推导，使训练速度更快，同时保持学习到的词嵌入的语义相似性。

ABSTRACT

The word2vec software of Tomas Mikolov and colleagues (https://code.google.com/p/word2vec/ ) has gained a lot of traction lately, and provides state-of-the-art word embeddings. The learning models behind the software are described in two research papers. We found the description of the models in these papers to be somewhat cryptic and hard to follow. While the motivations and presentation may be obvious to the neural-networks language-modeling crowd, we had to struggle quite a bit to figure out the rationale behind the equations. This note is an attempt to explain equation (4) (negative sampling) in "Distributed Representations of Words and Phrases and their Compositionality" by Tomas Mikolov, Ilya Sutskever, Kai Chen, Greg Corrado and Jeffrey Dean.

研究动机与目标

• 澄清Mikolov等人word2vec论文中负采样目标函数的常被误解的推导过程，这对于理解该方法的内在逻辑至关重要。
• 弥合神经网络语言建模文献与word2vec实际实现之间的差距，特别是负采样技术的应用。
• 提供一个数学上严谨且直观的解释，说明为何负采样是全softmax在训练词嵌入中的高效替代方案。
• 形式化负采样目标与分布假说之间的联系，表明其能促使语义相似的词具有相似的向量表示。

提出的方法

• 通过建模词-上下文对从训练数据中被抽中的概率，采用类似逻辑回归的二分类设置，推导负采样目标函数。
• 引入负样本——即从训练数据中未出现的随机词-上下文对——以防止所有向量趋同于相同值的平凡解。
• 将优化目标构建为正样本对（log σ(v_c · v_w)）和负样本对（log σ(–v_c · v_w)）的对数似然之和，从而鼓励真实对之间相似度高，虚假对之间相似度低。
• 解释负样本从与词频的3/4次方成比例的分布中抽取，这有助于提升训练稳定性和性能。
• 证明该方法等价于对正负样本对优化二元交叉熵损失，相比全softmax更具计算可行性。
• 强调当词向量与上下文向量联合优化时，该方法是非凸的，但若固定其中一组向量，则变为凸优化问题。

实验结果

研究问题

• RQ1 在skip-gram模型中，word2vec的负采样如何近似计算成本高昂的softmax？
• RQ2 为何尽管优化的目标函数与原始skip-gram模型不同，负采样仍能产生有效的词嵌入？
• RQ3 负采样目标函数的数学推导是什么？它与原始word2vec公式的关联如何？
• RQ4 负样本的采样策略（如基于频率的采样，指数为3/4）如何影响学习表示的质量？
• RQ5 负采样为何能产生捕捉语义相似性的词嵌入，其理论依据是什么？

主要发现

• 负采样通过用对所有上下文进行归一化的昂贵计算替换为二分类目标，为word2vec中的全softmax提供了计算高效的替代方案。
• 该方法优化了一个类似二元交叉熵的目标函数，通过最大化真实词-上下文对之间的相似度（点积）并最小化负样本对之间的相似度。
• 从偏斜分布（词频的3/4次方）中抽取负样本，可提升模型性能并减少高频词带来的噪声。
• 对高频词进行子采样可增大有效上下文窗口大小，使远距离但有意义的词也能参与相似度学习。
• 尽管优化的目标函数不同于原始skip-gram模型，负采样仍能生成满足分布假说的词嵌入，即语义相似的词具有相似的向量表示。
• 当词向量与上下文向量联合训练时，该方法是非凸的，但若固定其中一组向量，则变为凸优化，有助于理解其优化行为。