[论文解读] Multimodal Word Distributions

Ben Athiwaratkun, Andrew Gordon Wilson|arXiv (Cornell University)|Apr 27, 2017

Topic Modeling参考文献 43被引用 19

一句话总结

该论文提出使用高斯混合模型来构建多模态词分布，以表征具有多重含义、不确定性及蕴含关系的词语。通过基于能量函数的最大间隔目标与期望似然核进行学习，该方法在词相似度与蕴含关系基准测试中优于点嵌入和单模态高斯分布。

ABSTRACT

Word embeddings provide point representations of words containing useful semantic information. We introduce multimodal word distributions formed from Gaussian mixtures, for multiple word meanings, entailment, and rich uncertainty information. To learn these distributions, we propose an energy-based max-margin objective. We show that the resulting approach captures uniquely expressive semantic information, and outperforms alternatives, such as word2vec skip-grams, and Gaussian embeddings, on benchmark datasets such as word similarity and entailment.

研究动机与目标

• 为解决单模态词嵌入在捕捉多义性（多义性）和词义不确定性方面的局限性。
• 通过将词语建模为多模态分布而非单一点或单模态高斯分布，以改进语义表征。
• 通过表达性强的概率分布实现对蕴含关系和语义变异等语言现象的更丰富建模。
• 开发一种可扩展、鲁棒的训练方法，适用于大规模语料库，采用具有解析可处理性的基于能量的排序方法。

提出的方法

• 将每个词表示为高斯混合模型（MoG），以支持每个词具有多个独立的语义模式。
• 采用基于能量的最大间隔目标，通过基于语义相似度或蕴含关系对词对进行排序，来学习词分布。
• 采用期望似然核（ELK）作为能量函数，以实现与高斯混合模型的解析可处理性。
• 应用变换以提升数值稳定性并优化初始化，确保在大规模语料库上的鲁棒训练。
• 使用随机梯度下降在包含数十亿词的语料库上优化模型，实现可扩展性。
• 在蕴含任务中同时使用余弦相似度与KL散度作为评分函数，其中KL散度更有利于捕捉非对称关系。

实验结果

研究问题

• RQ1 与单模态或点嵌入相比，多模态词分布是否能更有效地捕捉多义性？
• RQ2 通过高斯混合模型建模词义不确定性，是否能提升词相似度与蕴含任务的性能？
• RQ3 所提出的基于能量的学习框架是否能有效根据语义关系对词对进行排序？
• RQ4 在捕捉蕴含关系与语义相似度方面，多模态分布与高斯嵌入及word2vec相比表现如何？
• RQ5 该模型能否自动发现并表征多义词的多个独立含义？

主要发现

• w2gm模型（高斯混合嵌入）在词相似度与蕴含基准测试中显著优于w2g（高斯嵌入）模型。
• 在词相似度任务中，w2gm在窗口大小为10时分别取得74.7（余弦）与76.3（KL散度）的得分，超越w2g及其他基线模型。
• 在蕴含任务中，w2gm的平均精确率与F1分数均高于w2g，尤其在使用KL散度作为评分指标时表现更优。
• 使用KL散度作为评分函数相比余弦相似度提升了性能，证明了非对称、具备不确定性感知能力的度量方式的价值。
• 该模型成功识别出多义词的多个语义模式，例如'bank'在不同分量中分别与'finance'和'river'对齐。
• 该方法具备可扩展性，可在数日内完成对包含数十亿词的语料库的训练，展现出实际可行性。