[论文解读] Revisiting Skip-Gram Negative Sampling Model with Rectification

Cun Mu, Guang Yang+1 more|arXiv (Cornell University)|Apr 1, 2018

Topic Modeling参考文献 27被引用 9

一句话总结

本文识别出Skip-Gram带负采样（SGNS）模型中的一个根本性模糊性问题，即在不改变目标函数值的情况下，词向量解可被任意扭曲。为解决此问题，作者引入二次正则化以强制嵌入表示的结构一致性，显著提升了在分析推理任务上的性能——尤其在嵌入维度增大时，相较于原始SGNS模型，准确率最高提升3%。

ABSTRACT

We revisit skip-gram negative sampling (SGNS), one of the most popular neural-network based approaches to learning distributed word representation. We first point out the ambiguity issue undermining the SGNS model, in the sense that the word vectors can be entirely distorted without changing the objective value. To resolve the issue, we investigate the intrinsic structures in solution that a good word embedding model should deliver. Motivated by this, we rectify the SGNS model with quadratic regularization, and show that this simple modification suffices to structure the solution in the desired manner. A theoretical justification is presented, which provides novel insights into quadratic regularization . Preliminary experiments are also conducted on Google's analytical reasoning task to support the modified SGNS model.

研究动机与目标

• 识别并解决SGNS模型中的模糊性问题，即尽管目标函数保持不变，解仍可因任意扭曲而改变。
• 定义有意义的词嵌入模型应保持的内在结构特性，特别是对正交变换的不变性。
• 提出一种简单而有效的SGNS模型修正方法，通过二次正则化强制实现期望的解结构。
• 为二次正则化在稳定和提升词嵌入优化方面的有效性提供理论依据。
• 在谷歌的分析推理基准上实证验证改进后的模型，证明其在原始SGNS模型上的一致性优势。

提出的方法

• 作者将SGNS模型重新表述为对词嵌入矩阵U和V的优化问题，其目标函数基于正负词-上下文对的sigmoid概率。
• 他们指出原始SGNS目标函数是病态的，因为对嵌入矩阵进行正交变换后目标函数值不变，从而引入了解的模糊性。
• 为解决此问题，他们在目标函数中引入二次正则化项：λ(||U||_F² + ||V||_F²)，以惩罚过大的嵌入范数，增强解的稳定性。
• 修改后的目标函数SGNS-qr通过标准随机梯度方法进行优化，λ值通过经验调优确定。
• 理论分析表明，二次正则化可促进与语言意义一致的解结构，偏好紧凑且有意义的表示。
• 评估采用3CosMul方法在谷歌的类比数据集上测量词类比任务的性能。

实验结果

研究问题

• RQ1 为何原始SGNS模型尽管表现优异，却仍产生不稳定且模糊的词向量解？
• RQ2 一个优秀的词嵌入模型应保持哪些内在结构特性，以确保表示具有意义？
• RQ3 二次正则化能否有效通过约束解空间至期望配置来解决SGNS中的模糊性问题？
• RQ4 在不同嵌入维度下，修正后的SGNS模型（SGNS-qr）与原始SGNS模型在分析推理任务上的性能表现如何比较？
• RQ5 二次正则化的改进效果是否随嵌入维度增大而增强？若是，原因是什么？

主要发现

• 原始SGNS模型存在根本性模糊性问题：词向量可通过正交变换被任意扭曲，而目标函数值保持不变，从而削弱了解的可靠性。
• 二次正则化能有效解决此模糊性问题，通过强制结构化解空间，促进稳定且有意义的词嵌入。
• 在谷歌的分析推理任务中，SGNS-qr模型在所有测试的嵌入维度下均持续优于原始SGNS模型。
• 性能提升随嵌入维度增加而增大，在d=1000时达到约3%的准确率最大提升。
• 提升效果在高维情况下最为显著，表明模糊性问题在更大空间中更为严重。
• 结果表明，SGNS中数值优化低效的原因可能源于模型病态性而非算法缺陷，凸显了模型构建的重要性。