[论文解读] Sentiment Classification with Word Attention based on Weakly Supervised Learning with a Convolutional Neural Network

Gichang Lee, Jae-Yun Jeong+3 more|arXiv (Cornell University)|Sep 28, 2017

Sentiment Analysis and Opinion Mining参考文献 15被引用 3

一句话总结

本文提出CAM²，一种利用类激活映射（class activation mapping）进行词注意力的卷积神经网络（CNN）弱监督情感分类模型。仅通过句子级别的情感标签进行训练，该模型通过学习到的注意力图识别出关键情感词，在IMDB数据集上准确率超过87%，在WATCHA数据集上达到78%，并有效突出显示了正面和负面句子中语义上重要的词语。

ABSTRACT

In order to maximize the applicability of sentiment analysis results, it is necessary to not only classify the overall sentiment (positive/negative) of a given document but also to identify the main words that contribute to the classification. However, most datasets for sentiment analysis only have the sentiment label for each document or sentence. In other words, there is no information about which words play an important role in sentiment classification. In this paper, we propose a method for identifying key words discriminating positive and negative sentences by using a weakly supervised learning method based on a convolutional neural network (CNN). In our model, each word is represented as a continuous-valued vector and each sentence is represented as a matrix whose rows correspond to the word vector used in the sentence. Then, the CNN model is trained using these sentence matrices as inputs and the sentiment labels as the output. Once the CNN model is trained, we implement the word attention mechanism that identifies high-contributing words to classification results with a class activation map, using the weights from the fully connected layer at the end of the learned CNN model. In order to verify the proposed methodology, we evaluated the classification accuracy and inclusion rate of polarity words using two movie review datasets. Experimental result show that the proposed model can not only correctly classify the sentence polarity but also successfully identify the corresponding words with high polarity scores.

研究动机与目标

• 通过在无需显式词级别标签的情况下识别出对情感有贡献的关键词，解决大多数情感分析数据集中缺乏词级别情感标注的问题。
• 通过整合注意力机制提升情感分类的可解释性，突出显示句子中重要的词语。
• 开发一种利用句子级别情感标签训练CNN模型的方法，使其既能生成情感预测，又能为每个词语生成注意力图。
• 评估模型在英语和韩语电影评论中检测领域特定情感表达和通用情感表达的能力。
• 探究不同词嵌入策略在弱监督设置下对分类准确率和注意力图质量的影响。

提出的方法

• 使用Word2Vec、GloVe或FastText将每个词嵌入连续向量空间，形成句子矩阵，其中每一行对应一个词向量。
• CNN使用多个卷积核处理句子矩阵，并通过零填充确保所有词在位置上待遇平等。
• 应用平均池化以保留空间信息并降低维度，同时保持特征表示。
• 在句子级别情感标签上训练后，利用最后全连接层的权重生成类激活图以实现词注意力。
• 通过特征图的加权和计算每个词的注意力分数，突出显示在情感预测中最具影响力的词语。
• 评估多种CNN变体（如CNN-Rand、CNN-Non-Static等），其区别在于训练过程中是否对词嵌入进行微调。

实验结果

研究问题

• RQ1 弱监督CNN模型能否仅使用句子级别标签识别出句子中的关键情感词？
• RQ2 整合多种词嵌入技术如何影响模型的分类与注意力性能？
• RQ3 不同CNN架构（例如是否对词嵌入进行微调）在多大程度上影响注意力图的质量？
• RQ4 该模型在电影评论中检测通用情感表达和领域特定情感短语的能力如何？
• RQ5 在定性分析中，注意力图在识别正面和负面句子中语义上有意义的正面与负面表达方面表现如何？

主要发现

• CAM²模型在IMDB数据集上仅使用句子级别情感标签，分类准确率超过87%，在WATCHA数据集上达到78%。
• 在训练过程中对词嵌入进行微调的CNN模型（如CNN-Rand、CNN-Non-Static）在分类准确率上优于未微调的模型（如CNN-Static）。
• 整合多种词嵌入技术提升了IMDB数据集上的性能，表明多样化向量表示具有优势。
• 该模型成功突出了正面句子中语义上有意义的表达，如'감탄스럽다'（令人惊叹）和'존경스럽다'（令人钦佩），证明了注意力学习的有效性。
• 在负面句子中，CNN-Static模型聚焦于通用情感词汇，而其他模型则强调领域特定短语如'총체적 난국'（全面危机），显示出对语言上下文的敏感性。
• 定性分析证实，注意力图能够正确识别出强烈情感短语，即使整体情感判断存在模糊或矛盾情况。