[论文解读] Second-Order Word Embeddings from Nearest Neighbor Topological Features

Denis Newman-Griffis, Eric Fosler‐Lussier|arXiv (Cornell University)|May 23, 2017

Topic Modeling参考文献 37被引用 4

一句话总结

本文提出了一种从预训练上下文词嵌入的最近邻拓扑结构中衍生出的二阶词嵌入。通过从 k-最近邻图中学习表示，该方法在命名实体识别、文本蕴含和释义识别任务中实现了与一阶嵌入相当的性能，同时在数据异质性方面表现出更强的鲁棒性，尤其在召回率导向的任务中表现更优。

ABSTRACT

We introduce second-order vector representations of words, induced from nearest neighborhood topological features in pre-trained contextual word embeddings. We then analyze the effects of using second-order embeddings as input features in two deep natural language processing models, for named entity recognition and recognizing textual entailment, as well as a linear model for paraphrase recognition. Surprisingly, we find that nearest neighbor information alone is sufficient to capture most of the performance benefits derived from using pre-trained word embeddings. Furthermore, second-order embeddings are able to handle highly heterogeneous data better than first-order representations, though at the cost of some specificity. Additionally, augmenting contextual embeddings with second-order information further improves model performance in some cases. Due to variance in the random initializations of word embeddings, utilizing nearest neighbor features from multiple first-order embedding samples can also contribute to downstream performance gains. Finally, we identify intriguing characteristics of second-order embedding spaces for further research, including much higher density and different semantic interpretations of cosine similarity.

研究动机与目标

• 探究词嵌入空间中的拓扑结构——特别是最近邻关系——是否可作为有意义词表示的独立来源。
• 评估二阶嵌入在下游 NLP 任务中的性能，并与一阶上下文嵌入进行比较。
• 分析二阶表示如何处理数据异质性，以及在拼接时是否能与一阶嵌入互补。
• 探索一阶与二阶嵌入空间在密度和余弦相似性解释方面的结构性与语义性差异。
• 评估是否可通过最近邻拓扑从多个一阶嵌入样本中利用信息以降低方差并提升鲁棒性。

提出的方法

• 使用余弦相似度作为距离度量，从预训练的上下文词嵌入中构建 k-最近邻图。
• 应用无监督图嵌入技术，基于 k-NN 图的拓扑结构重新学习词表示，生成二阶嵌入。
• 将生成的二阶嵌入作为深度模型和线性模型在命名实体识别、文本蕴含和释义识别任务中的输入特征。
• 通过拼接方式将一阶上下文嵌入与二阶表示相结合，并在线性与非线性模型中评估性能。
• 从多个一阶嵌入样本中生成二阶嵌入，并通过聚合降低随机初始化带来的方差。
• 分析一阶与二阶空间中邻域密度和余弦相似度分布，以比较语义结构与稀疏性。

实验结果

研究问题

• RQ1 仅靠预训练词嵌入中最近邻拓扑是否能产生性能与一阶嵌入相当的二阶有效表示？
• RQ2 在异质数据（如 NER 中的 MISC 实体）上，二阶嵌入与一阶嵌入在精确率与召回率方面的表现如何比较？
• RQ3 将一阶与二阶嵌入结合后性能提升程度如何？这种提升是否依赖于模型类型（线性 vs. 非线性）？
• RQ4 一阶与二阶表示的嵌入空间密度有何差异？这对语义相似性解释意味着什么？
• RQ5 通过聚合多个一阶嵌入样本的最近邻特征，能否提升下游性能并降低方差？

主要发现

• 在所有三个下游任务中，二阶嵌入的性能几乎与一阶上下文嵌入相当，F1 分数绝对差异仅为 1–2 个百分点。
• 二阶嵌入显著提升了召回率——尤其在 MISC 实体等异质数据上的 NER 任务中——尽管通常会降低精确率，表明在特异性与鲁棒性之间存在权衡。
• 二阶嵌入空间明显比一阶空间更密集：在二阶空间中，词与其最近邻之间的最小相似度为 0.75，而在一阶空间中仅为 0.24。
• 在二阶空间中，前 100 个最近邻相似度聚集在 0.999 附近，表明存在极强的局部密集性；而一阶相似度则表现出更大的方差。
• 在非线性模型中（如文本蕴含任务），拼接一阶与二阶嵌入可提升性能，但在线性模型中反而损害性能，表明需要非线性融合机制。
• 从多个一阶嵌入样本中聚合最近邻特征可提升下游性能，表明二阶表示能有效降低随机初始化带来的方差。