[论文解读] What the Vec? Towards Probabilistically Grounded Embeddings

Carl Allen, Ivana Balažević+1 more|arXiv (Cornell University)|May 30, 2018

Topic Modeling参考文献 34被引用 7

一句话总结

本文通过将Word2Vec和GloVe嵌入与点互信息（PMI）向量关联，建立了其概率基础，表明语义关系如相似性、同义表达和类比关系源于这些高维PMI向量在低维空间投影下的线性交互。关键贡献在于提出了一套理论框架，解释了W2V和GloVe嵌入为何有效，揭示了语义关系之间的分层结构，并解释了为何常用方法如使用W和C矩阵的均值是合理的。

ABSTRACT

Word2Vec (W2V) and GloVe are popular, fast and efficient word embedding algorithms. Their embeddings are widely used and perform well on a variety of natural language processing tasks. Moreover, W2V has recently been adopted in the field of graph embedding, where it underpins several leading algorithms. However, despite their ubiquity and relatively simple model architecture, a theoretical understanding of what the embedding parameters of W2V and GloVe learn and why that is useful in downstream tasks has been lacking. We show that different interactions between PMI vectors reflect semantic word relationships, such as similarity and paraphrasing, that are encoded in low dimensional word embeddings under a suitable projection, theoretically explaining why embeddings of W2V and GloVe work. As a consequence, we also reveal an interesting mathematical interconnection between the considered semantic relationships themselves.

研究动机与目标

• 为W2V和GloVe嵌入所学习的内容及其在下游NLP任务中为何有效提供理论理解。
• 通过PMI向量交互的视角，解释词嵌入的语义特性，如相似性、同义表达和类比。
• 推导W和C嵌入矩阵之间的数学关系，解释其非恒等性，并说明为何实践中常使用其均值。
• 揭示语义关系之间的分层关联，以相关性作为基础成对度量。

提出的方法

• 作者分析了W2Vec和GloVe的损失函数，表明它们隐式地对偏移后的PMI矩阵S = W^T C进行分解。
• 他们证明语义关系对应于PMI向量的特定线性组合，这些组合在投影到低维空间时得以保持。
• 通过理论推导表明，W和C矩阵必须不同，且推导出关系式W^T C = S，解释了尽管损失函数对称，二者角色仍不对称的原因。
• 该框架将常见的操作（如余弦相似度）解释为PMI向量之间相关性的度量，将类比关系解释为涉及词对共同出现的高阶交互。
• 作者使用text8语料库进行实证评估，验证理论主张，比较了在W和C上施加不同约束的模型。
• 他们提出了高阶关系（如类比）中误差项的几何解释，即PMI向量所处超曲面S上的偏离。

实验结果

研究问题

• RQ1 W2Vec和GloVe嵌入如何与点互信息（PMI）向量关联，为何能捕捉语义关系？
• RQ2 为何W2Vec和GloVe嵌入表现出如类比求解和余弦相似度检测相似性的特性？
• RQ3 W和C两个嵌入矩阵之间的数学关系是什么？为何尽管训练对称，二者并不相同？
• RQ4 语义关系如相似性、同义表达和类比如何通过基于PMI的交互实现分层关联？
• RQ5 高阶语义关系（如类比）中的错误由何引起？能否从几何角度进行解释？

主要发现

• W2Vec的损失函数隐式地最小化了一个偏移后的PMI矩阵，建立了W2Vec嵌入与PMI向量之间的直接联系。
• 相似性、同义表达等语义关系源于PMI向量的线性组合，且在低维投影下得以保持。
• W和C矩阵并不相等；推导出的关系式W^T C = S解释了其非对称角色，并解释了为何实践中使用其均值是合理的。
• 词嵌入之间的余弦相似度对应于由PMI度量的相关性，为这一广泛使用的启发式方法提供了语义解释。
• 揭示出一种分层结构：相关性是基础成对度量（PMI），相似性依赖于与所有词的全局相关性，同义表达依赖于与词集的共同出现，类比则依赖于词对的共同出现。
• 类比任务中的误差源于词之间的统计依赖性，可几何地解释为PMI向量所在超曲面S上的偏离。