[论文解读] On the Convergent Properties of Word Embedding Methods

Yingtao Tian, Vivek Kulkarni+2 more|arXiv (Cornell University)|May 12, 2016

Topic Modeling参考文献 10被引用 3

一句话总结

本文提出一种内在度量 ζ_CCA，通过测量嵌入维度之间的典型相关性，评估不同随机初始化下词嵌入方法的一致性。结果表明，GloVe 在一致性和下游任务一致性方面均优于 skip-gram，证明不同方法的收敛稳定性存在显著差异，且可无需外部数据进行量化。

ABSTRACT

Do word embeddings converge to learn similar things over different initializations? How repeatable are experiments with word embeddings? Are all word embedding techniques equally reliable? In this paper we propose evaluating methods for learning word representations by their consistency across initializations. We propose a measure to quantify the similarity of the learned word representations under this setting (where they are subject to different random initializations). Our preliminary results illustrate that our metric not only measures a intrinsic property of word embedding methods but also correlates well with other evaluation metrics on downstream tasks. We believe our methods are is useful in characterizing robustness -- an important property to consider when developing new word embedding methods.

研究动机与目标

• 探究在不同随机初始化下，词嵌入是否收敛到相似的表示。
• 解决词嵌入一致性与鲁棒性缺乏内在评估度量的问题。
• 开发一种不依赖下游任务的嵌入空间相似性量化方法。
• 将内在一致性与标准 NLP 评估任务（如词类比）上的性能相关联。

提出的方法

• 提出一种基于映射的相似性度量方法，通过嵌入维度之间的一对一线性变换来评估对应关系。
• 引入一种多对一对齐方法，利用典型相关性分析（CCA）来建模两个嵌入矩阵维度之间的复杂关系。
• 将内在度量 ζ_CCA 定义为两个嵌入空间之间前向典型相关性的平均值。
• 应用 CCA 比较使用不同随机种子和语料顺序训练的 GloVe 与 skip-gram 嵌入。
• 使用 Krippendorff’s alpha 计算词类比任务上的一致性分数，作为验证基准。
• 采用包含 60 亿词符的混合语料（Wikipedia + News Crawl），词汇表大小为 40 万，嵌入维度为 300。

实验结果

研究问题

• RQ1 使用不同随机初始化训练的词嵌入是否学习到等价的特征，还是其性能一致性仅为巧合？
• RQ2 如何以一种内在方式定量衡量不同初始化下学习到的词表示的一致性？
• RQ3 不同嵌入方法（如 GloVe 与 skip-gram）在收敛稳定性和维度对应性方面有何差异？
• RQ4 内在一致性是否与下游 NLP 任务（如词类比任务）上的性能相关？
• RQ5 典型相关性分析能否有效捕捉嵌入空间之间的相似性，超越简单相关性？

主要发现

• GloVe 嵌入在不同随机初始化下表现出比 skip-gram 更高的稳定性，ζ_CCA 分别为 0.74 和 0.66。
• 在词类比任务上，GloVe-1/GloVe-2 的一致性分数（Krippendorff’s alpha）为 0.89，SG-1/SG-2 为 0.79，与 ζ_CCA 呈正相关。
• 基于 CCA 的典型相关性显示，GloVe 在前 200 个维度中达到近乎完美的相关性，表明其结构稳定性强。
• 一对一维度匹配显示，GloVe 的平均相关性为 21.6%，而 skip-gram 为 19.5%，进一步证实其更高的一致性。
• 所提出的 ζ_CCA 度量与类比任务上模型的一致性高度相关，验证了其作为内在评估度量的有效性。
• 随机嵌入的相似性接近零相关性，确认观察到的相似性并非偶然所致。