[论文解读] Semi-supervised emotion lexicon expansion with label propagation and specialized word embeddings

Mario Giulianelli|arXiv (Cornell University)|Aug 13, 2017

Sentiment Analysis and Opinion Mining参考文献 35被引用 4

一句话总结

本文提出了一种半监督方法，通过情感特异性词向量和一种新型标签传播算法来扩展情感词典。该方法在Hashtag Emotion Corpus上训练双向LSTM以学习具有情感特异性的词向量，构建语义相似性图，并应用批量优化的标签传播算法扩展NRC情感词典，在基线模型的平均F1分数上提升了10.5%。

ABSTRACT

There exist two main approaches to automatically extract affective orientation: lexicon-based and corpus-based. In this work, we argue that these two methods are compatible and show that combining them can improve the accuracy of emotion classifiers. In particular, we introduce a novel variant of the Label Propagation algorithm that is tailored to distributed word representations, we apply batch gradient descent to accelerate the optimization of label propagation and to make the optimization feasible for large graphs, and we propose a reproducible method for emotion lexicon expansion. We conclude that label propagation can expand an emotion lexicon in a meaningful way and that the expanded emotion lexicon can be leveraged to improve the accuracy of an emotion classifier.

研究动机与目标

• 解决现有情感词典因情感词汇覆盖有限而导致的召回率低的问题。
• 通过引入上下文和情感信息丰富的词表示来扩展词典，以提升情感分类性能。
• 开发一种可扩展的半监督框架，结合监督学习与基于图的标签传播。
• 通过批量梯度下降优化标签传播，以降低大规模图的内存和计算成本。
• 证明情感特异性词向量可同时提升词典扩展和下游情感分类性能。

提出的方法

• 在Hashtag Emotion Corpus（Mohammad & Kiritchenko, 2015）上训练双向LSTM，以学习编码情感倾向的专用向量维度中的情感特异性词向量。
• 使用情感特异性词向量之间的余弦相似度构建语义相似性图，以表示词汇关系。
• 提出一种标签传播的新变体，通过自定义权重计算函数将余弦相似度用作距离度量。
• 引入基于批次的标签传播训练策略，以减少大规模图上的内存使用并加速收敛。
• 使用标签传播算法将情感标签从种子词典（NRC情感词典）传播到图中的未标记词汇。
• 使用扩展后的词典和标签传播生成的类别概率分布，对下游情感分类器进行微调。

实验结果

研究问题

• RQ1 情感特异性词向量能否提升用于情感词典扩展的语义相似性图的质量？
• RQ2 经过批量优化的标签传播算法是否能够在大规模图上实现可扩展且高效的半监督词典扩展？
• RQ3 与基线模型相比，将标签传播与特异性嵌入结合在情感分类性能上的提升程度如何？
• RQ4 该方法在相同的情感分类任务上与人工标注者的性能相比如何？
• RQ5 所提出的框架是否具备跨领域泛化能力，能在不牺牲精确率的前提下提升情感词典的召回率？

主要发现

• 使用扩展词典的双向LSTM在Hashtag Emotion Corpus上的平均F1分数达到56.2%，相比无词典扩展的基线LSTM提升了10.5%。
• 人工标注者平均F1分数仅为40.6%，表明模型性能显著接近上限，远超人类表现，说明模型捕捉到了人类直觉之外的细微情感线索。
• 批量优化的标签传播算法显著减少了训练时间和内存消耗，使其能够有效扩展至包含数万个节点的大规模图。
• 使用情感特异性词向量生成的相似性图更具语义意义，这在下游情感分类任务中体现为更高的F1分数。
• 在分布式表示的背景下，基于余弦相似度的权重标签传播优于传统的基于欧几里得距离的方案。
• 扩展后的词典提升了情感分类器的泛化能力，尤其对基础性能较低的低资源情感类别（如厌恶和恐惧）有明显改善。