[论文解读] Performance Investigation of Feature Selection Methods

Anuj Sharma, Shubhamoy Dey|arXiv (Cornell University)|Sep 16, 2013

Sentiment Analysis and Opinion Mining参考文献 29被引用 5

一句话总结

本文在2000篇电影评论语料上评估了五种特征选择方法——文档频率、信息增益、增益比、卡方检验和Relief-F，以评估其对情感分类性能的影响。信息增益表现出一致的结果，而增益比在整体表现上最佳；情感词典（HM、GI、Opinion Lexicon）表现较差，且最优分类器性能取决于选择适当数量的代表性特征。

ABSTRACT

Sentiment analysis or opinion mining has become an open research domain after proliferation of Internet and Web 2.0 social media. People express their attitudes and opinions on social media including blogs, discussion forums, tweets, etc. and, sentiment analysis concerns about detecting and extracting sentiment or opinion from online text. Sentiment based text classification is different from topical text classification since it involves discrimination based on expressed opinion on a topic. Feature selection is significant for sentiment analysis as the opinionated text may have high dimensions, which can adversely affect the performance of sentiment analysis classifier. This paper explores applicability of feature selection methods for sentiment analysis and investigates their performance for classification in term of recall, precision and accuracy. Five feature selection methods (Document Frequency, Information Gain, Gain Ratio, Chi Squared, and Relief-F) and three popular sentiment feature lexicons (HM, GI and Opinion Lexicon) are investigated on movie reviews corpus with a size of 2000 documents. The experimental results show that Information Gain gave consistent results and Gain Ratio performs overall best for sentimental feature selection while sentiment lexicons gave poor performance. Furthermore, we found that performance of the classifier depends on appropriate number of representative feature selected from text.

研究动机与目标

• 探究不同特征选择方法在提升情感分类性能方面的有效性。
• 评估不同情感词典在特征选择和分类准确率方面的影响。
• 确定最大化情感分类中召回率、精确率和准确率的最优特征数量。
• 比较基于过滤法的特征选择方法在真实世界电影评论数据集上的性能。

提出的方法

• 本研究应用了五种基于过滤法的特征选择方法：文档频率、信息增益、增益比、卡方检验和Relief-F。
• 在2000篇电影评论语料上使用TF-IDF向量化进行特征选择。
• 使用三种情感词典——HM、GI和Opinion Lexicon——提取情感特征以进行对比。
• 使用标准指标（精确率、召回率和准确率）训练并评估监督分类器。
• 通过在不同数量的选定特征下评估各方法的性能，以确定最优特征数量。
• 实验使用固定数据集，以确保可复现性，并实现方法间的直接比较。

实验结果

研究问题

• RQ1 哪种特征选择方法在情感分类中能获得最高的精确率、召回率和准确率？
• RQ2 在用于特征选择时，不同情感词典的性能表现如何比较？
• RQ3 为最大化分类性能，应选择多少个最优特征数量？
• RQ4 像信息增益和增益比这样的基于过滤法的方法，在一致性和鲁棒性方面与其他方法相比如何？

主要发现

• 信息增益在不同特征数量下均表现出一致的性能，使其成为情感特征选择的可靠选择。
• 增益比在精确率、召回率和准确率方面均取得最佳整体表现，优于所有其他评估方法。
• 三种情感词典（HM、GI、Opinion Lexicon）表现欠佳，表明其单独用于特征选择时效果有限。
• 分类器性能对所选特征数量高度敏感，最优性能在特定且适中的特征数量下实现。
• 卡方检验和Relief-F表现中等，但效果不如信息增益和增益比。