[论文解读] Word Representations via Gaussian Embedding

Luke Vilnis, Andrew McCallum|arXiv (Cornell University)|Jan 1, 2015

Natural Language Processing Techniques被引用 188

一句话总结

本文提出高斯嵌入（Gaussian embedding），一种将词语表示为多变量高斯分布而非固定向量的方法，从而能够更丰富地建模不确定性、非对称性以及决策边界。在基准任务上的评估表明，该方法在蕴含关系和非对称关系任务上性能更优，且相比标准向量模型具有更强的表达能力。

ABSTRACT

Abstract: Current work in lexical distributed representations maps each word to a point vector in low-dimensional space. Mapping instead to a density provides many interesting advantages, including better capturing uncertainty about a representation and its relationships, expressing asymmetries more naturally than dot product or cosine similarity, and enabling more expressive parameterization of decision boundaries. This paper advocates for density-based distributed embeddings and presents a method for learning representations in the space of Gaussian distributions. We compare performance on various word embedding benchmarks, investigate the ability of these embeddings to model entailment and other asymmetric relationships, and explore novel properties of the representation.

研究动机与目标

• 为解决基于向量的词嵌入方法的局限性，例如无法建模不确定性和非对称关系。
• 探究将词语表示为概率分布（高斯分布）是否能提升在语言学任务上的性能。
• 实现更具表达力的决策边界，并自然地建模蕴含关系与非对称关系。
• 开发一种可扩展的训练方法，用于学习高斯词嵌入。

提出的方法

• 将每个词表示为具有均值和协方差参数的多变量高斯分布。
• 使用噪声对比估计目标进行训练，以区分正样本词对与负样本。
• 使用马氏距离衡量高斯分布之间的相似性，从而同时捕捉均值与方差的差异。
• 使用神经网络参数化均值和协方差矩阵，实现端到端学习。
• 通过反向传播对高斯参数进行随机梯度下降优化。
• 将学习到的嵌入应用于下游任务，如词语相似性、类比推理和文本蕴含任务。

实验结果

研究问题

• RQ1 高斯嵌入是否能比基于向量的模型更自然地建模蕴含等非对称语言关系？
• RQ2 与标准向量嵌入相比，高斯嵌入在标准词语相似性与类比基准任务上的表现如何？
• RQ3 高斯嵌入在多大程度上捕捉了词表示中的不确定性？
• RQ4 高斯分布之间的马氏距离是否能提升下游任务中决策边界的表达能力？

主要发现

• 高斯嵌入在文本蕴含和非对称关系建模任务上优于标准向量嵌入。
• 该方法通过方差参数自然地捕捉不确定性，从而在模糊语境下提升鲁棒性。
• 使用马氏距离衡量的相似性比点积或余弦相似度更能反映非对称关系。
• 该模型在词语相似性和类比基准任务上达到具有竞争力的性能，证明了其泛化能力。
• 嵌入中的协方差矩阵学习到了词语之间有意义的结构关系。