[论文解读] Portuguese Word Embeddings: Evaluating on Word Analogies and Natural Language Tasks

Nathan Siegle Hartmann, Erick Fonseca+4 more|arXiv (Cornell University)|Aug 20, 2017

Topic Modeling参考文献 13被引用 91

一句话总结

该论文使用 GloVe、Word2Vec、Wang2Vec 和 FastText 为葡萄牙语（巴西 PT-BR 与欧洲 PT-EU）训练 31 个词嵌入模型，并在内在任务上对比喻义，在外在任务上对 POS 标注和句子相似度进行评估，显示类比分析并不能很好预测下游任务表现，Wang2Vec 在整体上表现突出。

ABSTRACT

Word embeddings have been found to provide meaningful representations for words in an efficient way; therefore, they have become common in Natural Language Processing sys- tems. In this paper, we evaluated different word embedding models trained on a large Portuguese corpus, including both Brazilian and European variants. We trained 31 word embedding models using FastText, GloVe, Wang2Vec and Word2Vec. We evaluated them intrinsically on syntactic and semantic analogies and extrinsically on POS tagging and sentence semantic similarity tasks. The obtained results suggest that word analogies are not appropriate for word embedding evaluation; task-specific evaluations appear to be a better option.

研究动机与目标

• 在变体（PT-BR 与 PT-EU）之间需要健壮的葡萄牙语词表示的原因。
• 提供一个大规模、公开可用的葡萄牙语词嵌入模型集合供研究使用。
• 同时评估词嵌入的内在（类比）和外在（POS 标注、句子语义相似度）表现。
• 研究语料规模和模型选择如何影响下游任务中的嵌入质量。

提出的方法

• 使用四种算法：GloVe、Word2Vec、Wang2Vec 和 FastText，训练了 31 个词嵌入模型。
• 构建了一个大型多体裁葡萄牙语语料库，结合 PT-BR 和 PT-EU 的文本。
• 在 PT-BR 与 PT-EU 的句法和语义类比上对嵌入进行内在评估。
• 在外在任务上对 POS 标注和句子语义相似度任务进行评估。
• 探索多种维度：每个模型的 50、100、300、600 和 1000 维。

实验结果

研究问题

• RQ1 不同的葡萄牙语词嵌入模型（跨 PT-BR 与 PT-EU）在内在类比任务与外在 NLP 任务上的表现如何？
• RQ2 内在类比结果是否与葡萄牙语下游任务（如 POS 标注和句子相似度）相关？
• RQ3 哪些建模方法（GloVe、Word2Vec、Wang2Vec、FastText）和哪些维度在跨变体的葡萄牙语处理上表现最佳？
• RQ4 在一个大型语料中混合巴西葡萄牙语与欧洲葡萄牙语，是提升还是降低下游任务表现？

主要发现

• GloVe 在 PT-BR 与 PT-EU 两个变体的内在句法和语义类比评估中通常表现最佳。
• FastText 在句法类比上表现强劲，而 Wang2Vec 通常整体表现出色，因其对词序的处理。
• 在语义类比中，GloVe 领先，Wang2Vec 提供具有竞争力的结果。
• 在外在任务 POS 标注中，Wang2Vec（特别是 300 维的 Skip-Gram）达到最高准确率，有时甚至超过 Word2Vec 等方法。
• 在语义相似度（ASSIN 任务）中，最佳嵌入结果并不总是与类比表现一致，表明内在类比与下游 NLP 任务之间相关性不足。
• 总体而言，研究发现基于类比的评估可能并不可靠用于为真实 NLP 任务选择嵌入；应优先进行任务特定的评估。