[论文解读] Performance Evaluation of Machine Learning Classifiers in Sentiment Mining

Vinodhini G. Chandrasekaran|arXiv (Cornell University)|Feb 17, 2014

Sentiment Analysis and Opinion Mining参考文献 10被引用 7

一句话总结

本研究评估了在亚马逊在线产品评论中用于情感挖掘的机器学习分类器，采用随机采样、线性采样和自助采样方法。结果表明，使用自助采样方法的支持向量机（SVM）分类器的误分类率最低，优于其他分类器和采样技术。

ABSTRACT

In recent years, the use of machine learning classifiers is of great value in solving a variety of problems in text classification. Sentiment mining is a kind of text classification in which, messages are classified according to sentiment orientation such as positive or negative. This paper extends the idea of evaluating the performance of various classifiers to show their effectiveness in sentiment mining of online product reviews. The product reviews are collected from Amazon reviews. To evaluate the performance of classifiers various evaluation methods like random sampling, linear sampling and bootstrap sampling are used. Our results shows that support vector machine with bootstrap sampling method outperforms others classifiers and sampling methods in terms of misclassification rate.

研究动机与目标

• 评估各种机器学习分类器在在线产品评论情感挖掘中的性能。
• 比较不同采样方法（随机采样、线性采样和自助采样）对分类器性能的影响。
• 识别用于产品评论情感分类的最佳分类器与采样技术组合。
• 提供实证证据，证明特定分类器和采样策略在最小化误分类率方面的优越性。

提出的方法

• 从亚马逊收集产品评论，以构建用于情感挖掘的数据集。
• 应用多种采样技术：随机采样、线性采样和自助采样，对数据集进行划分。
• 在采样数据上训练并评估多种机器学习分类器，用于情感分类。
• 使用误分类率作为主要性能指标，比较分类器和采样方法。
• 基于多次运行的一致性评估，选择表现最佳的分类器-采样组合。

实验结果

研究问题

• RQ1 哪种机器学习分类器在分类在线产品评论情感方面表现最佳？
• RQ2 不同采样方法（随机采样、线性采样、自助采样）如何影响情感分类器的性能？
• RQ3 特定分类器与特定采样方法的组合是否能显著降低误分类率？
• RQ4 所评估的分类器和采样技术之间是否存在显著的性能差异？

主要发现

• 支持向量机（SVM）分类器在所有评估的分类器中达到了最低的误分类率。
• 当与SVM分类器结合时，自助采样方法产生了最有利的结果。
• 与其它分类器-采样组合相比，SVM与自助采样方法的组合在误分类率方面显著更优。
• 在所有分类器中，随机采样和线性采样方法的误分类率均高于自助采样方法。