[论文解读] Not All Neural Embeddings are Born Equal

Felix Hill, Kyunghyun Cho+3 more|arXiv (Cornell University)|Oct 2, 2014

Topic Modeling参考文献 18被引用 39

一句话总结

该论文表明，尽管单语模型在捕捉语义相关性方面表现更优，神经机器翻译模型学习到的词嵌入在捕捉概念相似性和句法角色方面优于单语模型。翻译目标隐式地编码了词语之间的本体论和功能关系，使得在较小语料上训练时，仍能在相似性与句法任务上实现更优性能。

ABSTRACT

Neural language models learn word representations that capture rich linguistic and conceptual information. Here we investigate the embeddings learned by neural machine translation models. We show that translation-based embeddings outperform those learned by cutting-edge monolingual models at single-language tasks requiring knowledge of conceptual similarity and/or syntactic role. The findings suggest that, while monolingual models learn information about how concepts are related, neural-translation models better capture their true ontological status.

研究动机与目标

• 探究不同神经架构目标如何影响词嵌入中编码的信息。
• 比较单语语言模型与神经机器翻译模型在学习语言与概念任务词嵌入方面的表现。
• 确定基于翻译的词嵌入是否比单语嵌入更好地捕捉本体论相似性与句法角色。
• 探究为何基于翻译的词嵌入在相似性与句法角色任务上优于单语模型，尽管其在语义类比任务上的表现较弱。

提出的方法

• 在3亿词的英法平行语料上训练RNN编码器-解码器与RNN Search神经机器翻译模型，以提取源语言（英语）的词嵌入。
• 在相同的英语单语语料上训练单语skipgram与CBOW模型，以便进行直接比较。
• 在三个以相似性为重点的任务上评估词嵌入：SimLex-999、MEN与WordSim-353，以衡量概念相似性。
• 使用向量代数（例如，v = w + b - m）评估句法与语义类比任务的性能，以预测缺失的词语。
• 使用余弦距离在词嵌入空间中识别类比与相似性任务的最近邻。
• 通过比较在不同语料规模上训练的模型结果，评估数据效率与收敛性。

实验结果

研究问题

• RQ1 基于翻译的词嵌入是否比单语词嵌入更准确地编码概念相似性？
• RQ2 为何基于翻译的词嵌入在句法角色与相似性任务上优于单语模型？
• RQ3 翻译目标能否诱导出反映词语之间本体论或功能关系的词嵌入？
• RQ4 基于翻译的词嵌入性能更优，是由于更丰富的句法编码，还是更深层的语义理解？

主要发现

• 基于翻译的词嵌入在SimLex-999、MEN与WordSim-353任务上显著优于单语词嵌入，且其性能在较低语料规模下即趋于稳定。
• 翻译嵌入在句法类比任务上达到84.7%的准确率，甚至超过在更大语料上训练的单语模型。
• 单语skipgram与CBOW模型在语义类比任务（如man:boy :: woman:?)上表现更优，但未能捕捉真正的概念相似性，尤其在反义词或非同义相关词上表现不佳。
• 翻译目标使嵌入能够区分语义不相似但共现频繁的词语（如win与earn），而单语模型因共现模式而将它们混淆。
• 模型需要将多个源词映射到单个目标词（如gagner → win/earn）的机制，促使源词嵌入在语义上相似的概念间形成聚类，即使这些词并非同义词。
• 即使词对共享相同的句法角色，翻译嵌入在相似性任务上仍表现出色，表明其成功并非仅源于句法编码，而是反映了更深层的本体论对齐。