[论文解读] Word Embeddings for Sentiment Analysis: A Comprehensive Empirical Survey

Erion Çano, Maurizio Morisio|arXiv (Cornell University)|Feb 2, 2019

Sentiment Analysis and Opinion Mining被引用 7

一句话总结

本文对情感分析中的词嵌入进行了全面的实证调查，评估了训练方法、语料规模和主题相关性对推文、歌曲歌词、电影评论和产品评论等不同文本类型性能的影响。研究发现，在较小的、领域特定的语料（如歌词和推文）中，GloVe 优于 Word2Vec；而在大规模、多主题语料（如 Common Crawl）中，整体性能最佳，尤其在句法和语义类比任务中表现突出。通过注入基于词典的情感知识或使用情感特定训练（SSWE）可进一步提升特定任务的性能。

ABSTRACT

This work investigates the role of factors like training method, training corpus size and thematic relevance of texts in the performance of word embedding features on sentiment analysis of tweets, song lyrics, movie reviews and item reviews. We also explore specific training or post-processing methods that can be used to enhance the performance of word embeddings in certain tasks or domains. Our empirical observations indicate that models trained with multithematic texts that are large and rich in vocabulary are the best in answering syntactic and semantic word analogy questions. We further observe that influence of thematic relevance is stronger on movie and phone reviews, but weaker on tweets and lyrics. These two later domains are more sensitive to corpus size and training method, with Glove outperforming Word2vec. "Injecting" extra intelligence from lexicons or generating sentiment specific word embeddings are two prominent alternatives for increasing performance of word embedding features.

研究动机与目标

• 探究训练方法、语料规模和主题相关性如何影响情感分析任务中词嵌入的质量。
• 评估 GloVe 和 Word2Vec 在推文、歌曲歌词、电影评论和产品评论等多样化文本领域中的性能表现。
• 评估后处理技术（如词典注入和情感特定训练，SSWE）对嵌入质量的影响。
• 根据任务需求和数据可用性，为词嵌入的选择与训练提供实用指导。

提出的方法

• 在多样化语料上使用 GloVe 和 Word2Vec 训练词嵌入，包括大规模公开数据集（如 Common Crawl）以及自建的、规模和主题各异的语料集合。
• 构建了针对推文、歌曲歌词、电影评论和产品评论的领域特定语料，以评估任务特定性能。
• 通过词语类比任务（如“man is to king as woman is to ?”）评估嵌入的句法和语义质量。
• 使用 F1 分数和交叉验证评估四类情感分析任务中的情感分类性能。
• 实施后处理技术：将情感词典信息注入预训练向量，以及使用标注数据训练情感特定词嵌入（SSWE）。
• 使用统计检验（t 检验，p 值）验证不同模型之间性能差异的显著性。

实验结果

研究问题

• RQ1 训练方法的选择（GloVe 与 Word2Vec）如何影响不同情感分析任务中的词嵌入性能？
• RQ2 语料规模在推文、歌词和评论的情感分析中在多大程度上影响词嵌入的质量？
• RQ3 训练语料的主题相关性如何影响情感分析任务的性能？
• RQ4 后处理技术（如词典注入或情感特定训练，SSWE）是否能提升特定领域中词嵌入的质量？

主要发现

• 在大规模、多主题且词汇丰富的语料（如 Common Crawl）上训练的模型在词语类比任务中表现最佳，优于较小或领域特定的语料。
• 在歌曲歌词和推文的情感分析中，GloVe 优于 Word2Vec，尤其当训练语料较小时；而在电影评论或产品评论中，两者无显著差异。
• 主题相关性对电影和手机评论的性能有显著影响，对推文有中等影响，对歌词则无显著影响。
• 语料规模对歌词和推文的性能有显著影响，但对电影或产品评论无显著影响，表明不同领域对数据规模的敏感性存在差异。
• 将情感词典知识注入预训练嵌入可提升歌词情感分析的性能，证明了外部语义先验的价值。
• 使用标注数据训练的情感特定词嵌入（SSWE）在推文情感分类中相比标准 Word2Vec 显著提升（p = 0.028），宏平均 F1 分数提高 1%。