[论文解读] Thumbs Up or Thumbs Down? Semantic Orientation Applied to Unsupervised Classification of Reviews

Peter D. Turney|ArXiv.org|Dec 11, 2002

Sentiment Analysis and Opinion Mining参考文献 9被引用 1,580

一句话总结

本文提出一种无监督算法，通过分析评论短语中形容词和副词的语义倾向，将产品评论分类为正面或负面。该算法利用短语与'excellent'和'poor'这两个词之间的互信息计算语义倾向，在四个领域共410条评论上实现了74%的平均准确率，性能范围从电影类别的66%到汽车类别的84%不等。

ABSTRACT

This paper presents a simple unsupervised learning algorithm for classifying reviews as recommended (thumbs up) or not recommended (thumbs down). The classification of a review is predicted by the average semantic orientation of the phrases in the review that contain adjectives or adverbs. A phrase has a positive semantic orientation when it has good associations (e.g., "subtle nuances") and a negative semantic orientation when it has bad associations (e.g., "very cavalier"). In this paper, the semantic orientation of a phrase is calculated as the mutual information between the given phrase and the word "excellent" minus the mutual information between the given phrase and the word "poor". A review is classified as recommended if the average semantic orientation of its phrases is positive. The algorithm achieves an average accuracy of 74% when evaluated on 410 reviews from Epinions, sampled from four different domains (reviews of automobiles, banks, movies, and travel destinations). The accuracy ranges from 84% for automobile reviews to 66% for movie reviews.

研究动机与目标

• 开发一种无监督方法，无需标注训练数据即可将评论分类为推荐（点赞）或不推荐（点踩）。
• 利用'excellent'和'poor'作为极性锚点，通过词语关联识别短语的语义倾向。
• 评估语义倾向在预测跨多样化领域（如汽车、银行、电影和旅游）评论情感方面的有效性。
• 证明短语与极性锚定词之间的互信息可作为可靠的无监督情感度量。
• 仅使用分布语义统计，避免人工标注，实现高分类准确率。

提出的方法

• 短语的语义倾向通过其与'excellent'的互信息和与'poor'的互信息之差来计算。
• 该算法从评论短语中提取形容词和副词，并利用大规模语料库中的共现统计计算其语义倾向。
• 若短语的平均语义倾向为正，则将整个评论分类为正面。
• 使用互信息作为短语与极性锚定词'excellent'和'poor'之间关联性的度量。
• 该方法仅依赖于大规模文本语料库中的分布统计，无需任何标注的情感数据。
• 该方法应用于Epinions的410条评论，涵盖四个领域：汽车、银行、电影和旅游目的地。

实验结果

研究问题

• RQ1 能否仅通过与'excellent'和'poor'的共现统计推导出的语义倾向，有效实现无标注数据下的评论情感分类？
• RQ2 该无监督语义倾向方法在区分不同领域中的正面与负面评论时，准确率如何？
• RQ3 该方法在电影与汽车等不同评论领域中的表现是否存在显著差异？
• RQ4 短语与极性锚定词之间的互信息在多大程度上可作为情感的代理指标？
• RQ5 仅使用分布语义的简单无监督算法能否在情感分类中实现高准确率？

主要发现

• 该算法在Epinions的410条评论中实现了74%的平均准确率，证明了其在无任何标注训练数据情况下的强大性能。
• 汽车评论的准确率最高，达到84%，表明在具有明确评价语言的产品类别中表现优异。
• 电影评论的准确率最低，为66%，表明在更主观或细微的领域中情感检测存在挑战。
• 该方法成功利用互信息通过分布语义推断情感极性，仅以'excellent'和'poor'作为锚点。
• 结果证实，基于与极性词语共现的语义倾向可作为有效的无监督情感分类器。
• 该方法表明，仅通过最小的词汇资源与统计关联，即可实现无监督情感分类。