[论文解读] Twitter Sentiment Analysis: Lexicon Method, Machine Learning Method and Their Combination

Olga Kolchyna, Thársis T. P. Souza+2 more|arXiv (Cornell University)|Jul 3, 2015

Sentiment Analysis and Opinion Mining参考文献 60被引用 133

一句话总结

本文提出了一种用于Twitter的混合情感分析方法，结合基于词典的情感打分与机器学习方法，采用代价敏感的SVM以处理类别不平衡问题。该方法将F-score提升至73%，优于单独使用词典或机器学习的方法，其中包含表情符号和俚语的词典进一步提升了准确率，优于传统词典。

ABSTRACT

This paper covers the two approaches for sentiment analysis: i) lexicon based method; ii) machine learning method. We describe several techniques to implement these approaches and discuss how they can be adopted for sentiment classification of Twitter messages. We present a comparative study of different lexicon combinations and show that enhancing sentiment lexicons with emoticons, abbreviations and social-media slang expressions increases the accuracy of lexicon-based classification for Twitter. We discuss the importance of feature generation and feature selection processes for machine learning sentiment classification. To quantify the performance of the main sentiment analysis methods over Twitter we run these algorithms on a benchmark Twitter dataset from the SemEval-2013 competition, task 2-B. The results show that machine learning method based on SVM and Naive Bayes classifiers outperforms the lexicon method. We present a new ensemble method that uses a lexicon based sentiment score as input feature for the machine learning approach. The combined method proved to produce more precise classifications. We also show that employing a cost-sensitive classifier for highly unbalanced datasets yields an improvement of sentiment classification performance up to 7%.

研究动机与目标

• 评估并比较用于Twitter的基于词典与基于机器学习的情感分析方法。
• 探究通过表情符号、缩写和社交媒体俚语增强情感词典是否能提升分类准确率。
• 探索将基于词典的情感打分作为特征集成到机器学习模型中以提升性能的方法。
• 评估代价敏感学习在高度不平衡的Twitter数据集中的情感分类影响。
• 基于SemEval-2013 Twitter情感分析数据集，将所提出的混合方法与最先进方法进行基准对比。

提出的方法

• 构建了三个情感词典：基础观点词典（OL）、通过手动整理的表情符号、缩写和俚语增强的OL（OL + EMO），以及通过自动生成术语进一步扩展的OL + EMO（OL + EMO + AUTO）。
• 采用词袋（BOW）模型将Twitter消息表示为$ n \times m $的二值矩阵，其中$ n $为样本数量，$ m $为特征数量。
• 将情感词典打分作为机器学习模型的附加输入特征，并基于信息增益进行特征选择，以评估特征的相关性。
• 在SemEval-2013任务2-B基准数据集上训练了多种分类器——朴素贝叶斯、决策树、SVM以及代价敏感SVM。
• 采用代价敏感SVM以最小化误分类成本，特别是针对被错误分类为中性的情感样本（正面或负面），以应对数据集的不平衡问题。
• 根据SemEval-2013的评估协议，使用正面与负面类别之间的F-score评估模型性能。

实验结果

研究问题

• RQ1 通过表情符号、缩写和社交媒体俚语增强情感词典是否能提升Twitter上的情感分类准确率？
• RQ2 将词典打分作为特征集成到机器学习模型中的混合方法，其性能与独立的词典或机器学习方法相比如何？
• RQ3 代价敏感学习在高度不平衡的Twitter数据集中对情感分类性能的提升程度如何？
• RQ4 在Twitter文本的情感分类中，哪些特征（尤其是基于词典的情感打分）最具信息量？
• RQ5 所提出的混合方法是否能在SemEval-2013基准测试中实现优于现有最先进系统的性能？

主要发现

• 经手动整理的表情符号与社交媒体表达增强的OL + EMO词典，优于基础OL词典及规模更大的OL + EMO + AUTO词典，表明有针对性的词汇扩充可提升准确率。
• 将词典情感打分作为特征集成到机器学习模型中的混合方法，其分类精度高于单独使用任一方法。
• 代价敏感SVM分类器实现了73%的F-score，较标准SVM提升了7%，证明了在Twitter情感分析中处理类别不平衡问题的有效性。
• 在所测试的分类器中，代价敏感SVM在SemEval-2013测试集上表现最佳，显著优于朴素贝叶斯（64%）、决策树（62%）和标准SVM（66%）。
• 在基于信息增益的特征选择过程中，基于词典的情感打分位列前茅，证实其具有强大的预测相关性。
• 所提出的混合模型实现了73%的F-score，超过SemEval-2013竞赛优胜团队的69.02%，表明在该基准数据集上性能更优。