[论文解读] The Expressive Power of Word Embeddings

Yanqing Chen, Bryan Perozzi+2 more|arXiv (Cornell University)|Jan 15, 2013

Topic Modeling参考文献 19被引用 83

一句话总结

本文通过上下文无关的分类任务评估了公开发布词嵌入的表达能力，表明即使在缺乏句子结构的情况下，词嵌入仍能捕捉细微的语义信息。研究揭示了不同词嵌入在质量上的显著差异，并发现降低维度或精度的影响出人意料地小，表明高维连续表示在自然语言处理任务中具有鲁棒性和高效性。

ABSTRACT

We seek to better understand the difference in quality of the several publicly released embeddings. We propose several tasks that help to distinguish the characteristics of different embeddings. Our evaluation of sentiment polarity and synonym/antonym relations shows that embeddings are able to capture surprisingly nuanced semantics even in the absence of sentence structure. Moreover, benchmarking the embeddings shows great variance in quality and characteristics of the semantics captured by the tested embeddings. Finally, we show the impact of varying the number of dimensions and the resolution of each dimension on the effective useful features captured by the embedding space. Our contributions highlight the importance of embeddings for NLP tasks and the effect of their quality on the final results.

研究动机与目标

• 理解词嵌入中除句子上下文外还编码了哪些语言信息。
• 对公开可用的词嵌入进行基准测试，比较其质量与语义特征。
• 研究维度和精度的降低如何影响词嵌入在下游任务中的实用性。
• 证明词对表示可编码比单个词更有用的语言信息。
• 提供一个基准套件，用于通过孤立词与词对分类任务评估词嵌入。

提出的方法

• 设计上下文无关的分类任务（情感极性、名词性别、单复数、同义/反义、英美拼写）以将语义内容与句法上下文分离。
• 在嵌入上使用多种分类器（SVM、核SVM）评估上述任务的性能。
• 通过按位截断，将嵌入精度从32位浮点数降低至二进制值（±1），以测试对分辨率的需求。
• 通过主成分分析（PCA）降低嵌入维度，并评估其对任务性能的影响。
• 在四个公开发布的嵌入（HHBL、SENNA、Turian’s、Huang’s）之间进行性能比较。
• 通过组合词对嵌入来分析基于词对的表示，以提升分类性能，超越单个词的特征。

实验结果

研究问题

• RQ1 在缺乏句子结构的情况下，词嵌入在多大程度上能捕捉语义？
• RQ2 在公开发布的词嵌入中，语义质量与特征的关键差异是什么？
• RQ3 降低嵌入的维度或精度如何影响其在语言任务中的表现？
• RQ4 词对表示是否能编码比单个词嵌入更有用的语言信息？
• RQ5 保留词嵌入中有用信息所需的最小有效维度和精度是多少？

主要发现

• 词嵌入在不依赖句子级上下文的情况下，仍能捕捉出人意料的细微语义信息，如情感、性别、单复数和同义性。
• 不同公开发布词嵌入的质量和特征存在显著差异，且没有一个模型在所有任务中全面优于其他模型。
• 通过截断31位（得到二进制±1值）降低嵌入精度后，性能下降不超过7%，表明对精度损失具有极强鲁棒性。
• 通过PCA降低维度导致性能显著下降，表明完整的嵌入空间保留了对任务性能至关重要的非线性关系。
• 使用组合词嵌入的基于词对的分类优于单个词的分类，其中一个例子显示性能显著优于单个词特征。
• 词嵌入的有效分辨率极高——相当于至少2^50个不同区域——但即使二进制表示仍保留了强大的实用性。