[论文解读] Probabilistic FastText for Multi-Sense Word Embeddings

Ben Athiwaratkun, Andrew Gordon Wilson+1 more|arXiv (Cornell University)|Jun 7, 2018

Topic Modeling参考文献 18被引用 31

一句话总结

该论文提出Probabilistic FastText（pft），一种新颖模型，通过将子词n-gram表示与高斯混合密度相结合，学习多义性、具备不确定性感知的词嵌入。通过将每个词建模为高斯混合模型，其中各分量均值由n-gram生成，pft在词相似性与词义消歧基准测试中达到最先进性能，尤其在罕见词与未登录词上表现优异，相比FastText和先前的概率模型分别提升3.7%与3.1%。

ABSTRACT

We introduce Probabilistic FastText, a new model for word embeddings that can capture multiple word senses, sub-word structure, and uncertainty information. In particular, we represent each word with a Gaussian mixture density, where the mean of a mixture component is given by the sum of n-grams. This representation allows the model to share statistical strength across sub-word structures (e.g. Latin roots), producing accurate representations of rare, misspelt, or even unseen words. Moreover, each component of the mixture can capture a different word sense. Probabilistic FastText outperforms both FastText, which has no probabilistic model, and dictionary-level probabilistic embeddings, which do not incorporate subword structures, on several word-similarity benchmarks, including English RareWord and foreign language datasets. We also achieve state-of-art performance on benchmarks that measure ability to discern different meanings. Thus, the proposed model is the first to achieve multi-sense representations while having enriched semantics on rare words.

研究动机与目标

• 解决基于词典的词嵌入在表示罕见词、拼写错误词或未见词时的局限性。
• 将不确定性和多义性融入子词级表示中。
• 开发一种结合FastText（子词共享）与概率嵌入（多义建模）优势的模型，以提升语义质量。
• 在无需超参数调优的情况下，实现对低资源语言与外语的零样本泛化。

提出的方法

• 将每个词表示为高斯混合密度（pft-gm），其中每个分量的均值为n-gram向量之和。
• 使用n-gram向量（如'abno'、'bnor'）编码子词结构，实现相关词语间统计强度的迁移。
• 采用基于能量的极大间隔目标函数进行模型训练，以优化相似性与消歧性能。
• 允许每个混合分量捕捉一个独立的词义，实现多模态表示。
• 采用固定数量的分量（K=2）以平衡灵活性与模型复杂度，K=1作为基线。
• 在单语与多语设置中应用该模型，利用跨语言共享的子词根。

实验结果

研究问题

• RQ1 基于子词级表示并结合概率密度建模，能否提升罕见词与未见词的语义质量？
• RQ2 在n-gram向量上构建高斯混合模型，能否有效在单一嵌入中实现多义词义的消歧？
• RQ3 不确定性与多义建模的融合对词相似性与词义分离基准测试的性能有何影响？
• RQ4 该模型在无需微调或超参数调整的情况下，对低资源与外语数据集的泛化能力如何？

主要发现

• Probabilistic FastText在词相似性基准测试中，相较于FastText平均提升3.7%，包括罕见词与外语数据集。
• 在相同基准上，相比词典级概率嵌入（如w2gm）提升3.1%，证明其语义质量更优。
• 在SCWS词义消歧基准测试中，pft-gm达到最先进性能，较先前最佳模型w2gm提升1.0%。
• 最近邻分析表明，每个混合分量均捕捉了独立的词义，如'voler'分别表示'偷窃'或'飞行'，证实了表示的解耦与可解释性。
• 该模型成功泛化至外语，无需任何超参数调整即在多个外语词相似性数据集上超越FastText。
• 即使仅使用K=2个分量，模型仍能捕捉超过两个词义，如嵌入空间中能聚类出语义上显著不同的邻居。