[论文解读] Retrofitting Word Vectors to Semantic Lexicons

Manaal Faruqui, Jesse Dodge+4 more|arXiv (Cornell University)|Nov 15, 2014

Topic Modeling参考文献 48被引用 65

一句话总结

本文提出了一种后处理方法——Retrofitting，通过图-based信念传播，在WordNet和PPDB等语义词典的指导下，利用相关词语之间的相似性来优化预训练词向量。该方法在多种语言和词向量模型上均提升了词向量质量，在词汇相似性基准测试中达到最先进性能，SYN-REL任务上绝对提升最高达5.5分，多语言任务中亦有显著改进。

ABSTRACT

Vector space word representations are learned from distributional information of words in large corpora. Although such statistics are semantically informative, they disregard the valuable information that is contained in semantic lexicons such as WordNet, FrameNet, and the Paraphrase Database. This paper proposes a method for refining vector space representations using relational information from semantic lexicons by encouraging linked words to have similar vector representations, and it makes no assumptions about how the input vectors were constructed. Evaluated on a battery of standard lexical semantic evaluation tasks in several languages, we obtain substantial improvements starting with a variety of word vector models. Our refinement method outperforms prior techniques for incorporating semantic lexicons into word vector training algorithms.

研究动机与目标

• 通过整合WordNet、FrameNet和Paraphrase Database等语义词典中的关系知识，提升预训练词向量的质量。
• 开发一种模块化、后处理方法，适用于任何现有词向量训练模型，无需修改其训练目标。
• 解决纯分布式词向量的局限性，即缺乏语义资源中编码的显式语义关系。
• 在多种评估任务、向量模型和语言上展示一致的性能提升。

提出的方法

• 从语义词典构建图结构，其中节点为词语，边表示语义关系（如同义、上下位关系）。
• 定义目标函数，最小化每个词向量与其分布表示（ˆqi）以及图中邻居之间平方距离的总和。
• 使用迭代信念传播更新规则：qi = (Σβijqj + αiˆqi) / (Σβij + αi)，其中βij和αi控制词典信号与分布信号的相对影响。
• 迭代应用该更新规则（通常10次），直至收敛，运行时间与原始向量训练方法无关。
• 该方法对初始向量模型无偏见，可应用于GloVe、word2vec等预训练嵌入。
• 该过程高效——10万词语的处理时间少于5秒，且可通过跨语言词典（如Universal WordNet）扩展至多语言设置。

实验结果

研究问题

• RQ1 是否可以在不修改训练过程的前提下，利用语义词典改进预训练词向量？
• RQ2 Retrofitting与在向量学习过程中整合词典信息的联合训练方法相比表现如何？
• RQ3 该方法是否在不同词向量模型、向量维度和语言上均具有泛化能力？
• RQ4 Retrofitting在标准词汇语义评估任务上的性能提升程度如何？
• RQ5 性能提升是否源于向量空间中语义相关词语的更好对齐？

主要发现

• 与最佳基线模型相比，Retrofitting在SYN-REL基准测试中实现了5.5分的绝对提升，显著优于当前最先进联合训练方法。
• 在MEN词汇相似性任务中，Retrofitting将Spearman等级相关系数从66.5提升至70.2，且在50至1000维的所有向量长度上均实现一致提升。
• 在多语言评估中，Retrofitting使德语（RG-65）性能提升6.9分、法语（RG-65）提升13.9分、西班牙语（MC-30）提升5.1分，展现出强大的跨语言泛化能力。
• 通过2D PCA可视化显示，Retrofitting使类比向量（如形容词到副词）在一致方向上对齐，表明结构一致性得到改善。
• 该方法计算高效，10万词、300维向量的Retrofitting处理时间少于5秒，且与原始训练模型无关。
• Retrofitting在多种词向量模型（如GloVe、SG、skip-gram）和语义词典（PPDB、WordNet、FrameNet）上均一致提升性能，证实其鲁棒性与模块化特性。