[论文解读] Synonyms and Antonyms: Embedded Conflict

Igor Samenko, Alexey Tikhonov+1 more|arXiv (Cornell University)|Apr 27, 2020

Natural Language Processing Techniques参考文献 11被引用 8

一句话总结

本文表明，尽管现代词嵌入在同义词和反义词之间的余弦相似度相近，但其编码了可区分的几何模式。通过在小规模标注子集上训练对比映射，该方法能够学习到语义属性的解耦，生成改进的词嵌入，从而提升下游任务的性能。

ABSTRACT

Since modern word embeddings are motivated by a distributional hypothesis and are, therefore, based on local co-occurrences of words, it is only to be expected that synonyms and antonyms can have very similar embeddings. Contrary to this widespread assumption, this paper shows that modern embeddings contain information that distinguishes synonyms and antonyms despite small cosine similarities between corresponding vectors. This information is encoded in the geometry of the embeddings and could be extracted with a manifold learning procedure or {\em contrasting map}. Such a map is trained on a small labeled subset of the data and can produce new empeddings that explicitly highlight specific semantic attributes of the word. The new embeddings produced by the map are shown to improve the performance on downstream tasks.

研究动机与目标

• 探究现代词嵌入是否能在余弦相似度相近的情况下，内在地区分同义词与反义词。
• 解决分布式词表示中语义模糊性的问题，特别是针对反义词对。
• 开发一种显式从预训练词嵌入中解耦语义属性（如同义性与反义性）的方法。
• 通过学习突出特定语义对比的新词嵌入，提升下游自然语言处理任务的性能。

提出的方法

• 基于分布假说，该方法假设文本中局部共现模式隐式编码了语义关系。
• 应用流形学习以揭示词嵌入中区分同义词与反义词的潜在几何结构。
• 在一小部分标注的词对子集上训练对比映射，以学习强调语义对比的变换。
• 对比映射将原始嵌入投影到新空间，使同义性与反义性等语义属性得到显式突出。
• 通过下游任务评估生成的变换后嵌入，以评估性能提升。
• 该方法依赖于一个假设：即使同义词与反义词之间的余弦相似度较小，其几何信息仍具有可利用性。

实验结果

研究问题

• RQ1 在余弦相似度相近的情况下，预训练词嵌入的几何结构是否能区分同义词与反义词？
• RQ2 是否可能学习一种变换，显式突出词嵌入中的语义属性（如同义性与反义性）？
• RQ3 与标准嵌入相比，对比映射在提升下游自然语言处理任务性能方面的有效性如何？
• RQ4 现代词嵌入的几何结构中，除了成对相似性外，还编码了哪些语义信息？

主要发现

• 尽管余弦相似度较小，词嵌入的几何结构仍包含可区分同义词与反义词的判别性信息。
• 对比映射通过利用嵌入空间的底层几何结构，成功学习到语义属性的解耦。
• 由对比映射生成的变换后嵌入显著提升了下游自然语言处理任务的性能。
• 该方法仅需少量标注子集进行训练，因此在数据效率和实际应用中均具有可行性。