[论文解读] Predicting the Sentiment Polarity and Rating of Yelp Reviews

Andrew Elkouri|arXiv (Cornell University)|Dec 20, 2015

Sentiment Analysis and Opinion Mining参考文献 1被引用 3

一句话总结

本文提出了一种基于文本的分类系统，用于仅使用文本内容（tf-idf特征加权）预测Yelp评论的情感极性（正面/负面）和五星级评分。采用朴素贝叶斯、支持向量机和逻辑回归模型，逻辑回归在情感极性分类中达到92.90%的准确率，在五星级分类中达到63.92%的准确率，优于其他模型，展现出在有限特征下的优异性能。

ABSTRACT

Online reviews of businesses have become increasingly important in recent years, as customers and even competitors use them to judge the quality of a business. Yelp is one of the most popular websites for users to write such reviews, and it would be useful for them to be able to predict the sentiment or even the star rating of a review. In this paper, we develop two classifiers to perform positive/negative classification and 5-star classification. We use Naive Bayes, Support Vector Machines, and Logistic Regression as models, and achieved the best accuracy with Logistic Regression: 92.90% for positive/negative classification, and 63.92% for 5-star classification. These results demonstrate the quality of the Logistic Regression model using only the text of the review, yet there is a promising opportunity for improvement with more data, more features, and perhaps different models.

研究动机与目标

• 仅使用文本内容预测Yelp评论的情感极性（正面或负面）。
• 仅基于文本特征预测Yelp评论的五星级评分。
• 比较朴素贝叶斯、支持向量机和逻辑回归在两项分类任务中的性能表现。
• 评估数据规模和特征工程对分类准确率的影响。
• 识别通过引入额外特征或高级模型改进五星级评分预测的潜在机会。

提出的方法

• 使用scikit-learn的CountVectorizer对文本进行预处理，清理输入数据，去除停用词，并将包含两个或以上字母或数字字符的词语进行分词。
• 通过词袋模型构建特征向量，将每个唯一词语映射为整数ID，并将词频存储在稀疏矩阵中。
• 应用tf-idf转换，根据词频和逆文档频率对词语进行加权，降低长篇评论和常见词汇带来的偏差。
• 情感极性分类：将评分≥3的样本标记为“正面”，评分<3的样本标记为“负面”。
• 五星级分类：将原始星级评分（1–5）作为目标标签。
• 使用70%的数据进行模型训练，剩余30%用于测试，采用scikit-learn实现的朴素贝叶斯、支持向量机和逻辑回归模型。

实验结果

研究问题

• RQ1 仅使用文本的分类器能否准确预测Yelp评论的情感极性？
• RQ2 仅使用评论文本，分类器在预测Yelp评论的精确五星级评分方面表现如何？
• RQ3 在这些任务中，朴素贝叶斯、支持向量机或逻辑回归哪个机器学习模型表现最佳？
• RQ4 增加训练数据规模如何影响分类器的性能？
• RQ5 哪些额外特征或模型类型可进一步提升五星级评分预测的准确率？

主要发现

• 逻辑回归在情感极性分类中达到最高准确率92.90%，显著优于朴素贝叶斯（88.54%）和支持向量机（88.54%）。
• 在五星级分类任务中，逻辑回归达到63.92%的准确率，远高于Carbon等人使用高斯判别分析方法报告的最高46.09%准确率。
• 朴素贝叶斯在情感极性分类中比支持向量机高出约4个百分点，与预期相反。
• 随着训练数据量的增加，逻辑回归的性能持续提升，表明其与数据规模呈正相关。
• 尽管仅使用文本特征表现优异，但五星级分类任务仍具挑战性，原因包括评分行为不一致以及文本信息支持不足。
• 未来可通过采用神经网络等高级模型，或引入额外特征（如评论点赞数、商家属性等）进一步提升五星级评分预测的准确率。