[论文解读] Thumbs up? Sentiment Classification using Machine Learning Techniques

Bo Pang, Lillian Lee+1 more|ArXiv.org|May 28, 2002

Sentiment Analysis and Opinion Mining参考文献 21被引用 2,209

一句话总结

本文评估三种常见的监督学习方法（朴素贝叶斯、最大熵和支持向量机）在电影评论情感分类中的性能，并分析影响性能的因素，结果显示这些方法优于基线，但在主题分类方面仍有不足。

ABSTRACT

We consider the problem of classifying documents not by topic, but by overall sentiment, e.g., determining whether a review is positive or negative. Using movie reviews as data, we find that standard machine learning techniques definitively outperform human-produced baselines. However, the three machine learning methods we employed (Naive Bayes, maximum entropy classification, and support vector machines) do not perform as well on sentiment classification as on traditional topic-based categorization. We conclude by examining factors that make the sentiment classification problem more challenging.

研究动机与目标

• 评估标准机器学习方法在情感分类中的有效性，与人类基线进行比较。
• 评估特征选择（单字、双字、出现性/频率、是否处理否定）对性能的影响。
• 理解使情感分类比主题分类更具挑战性的原因。
• 提供基于语料库的基线以及影响情感分析的语言模式洞见。

提出的方法

• 将每个文档表示为包含预定义特征（如单字、双字）的特征袋向量。
• 在带标签电影评论数据上训练朴素贝叶斯、最大熵和支持向量机分类器，使用三折交叉验证。
• 研究特征出现性信息（是否出现）与频次信息对性能的影响。
• 纳入否定标注以捕捉情感的上下文转变。
• 评估附加特征（词性标注、形容词、位置）对准确性的影响。

实验结果

研究问题

• RQ1 标准的监督学习方法是否能在电影评论情感分类中达到高准确率？
• RQ2 特征选择（单字 vs 双字、出现性 vs 频率）如何影响分类性能？
• RQ3 引入否定标注或词性信息是否能提高情感检测？
• RQ4 情感分类是否像主题分类那样容易，还是需要额外的技术来处理话语和语境线索？

主要发现

• 三者（NB、MaxEnt、SVM）在情感数据上都优于随机基线和人类单字基线。
• 对于 NB 和 SVM，使用特征出现性（二进制）通常比使用特征频率得到更高的准确性。
• 双字特征在单字出现性的基础上并未提升性能，且单独使用时可能降低准确性。
• 否定标注对 NB 略有提升，但在不同模型中的效果并不一致。
• 仅依赖形容词提供的信息弱于单字；常用的单字与更广泛的特征集表现相当。
• 总体而言，情感分类仍比主题分类更具挑战性，最好结果仍落后于高准确度的主题模型。