[论文解读] Supervised Term Weighting Metrics for Sentiment Analysis in Short Text

Hussam Hamdan, Patrice Bellot+1 more|arXiv (Cornell University)|Oct 10, 2016

Text and Document Classification Technologies参考文献 18被引用 3

一句话总结

该论文在Twitter、餐厅评论和笔记本电脑评论数据集上，使用SVM对15种有监督的全局词项加权度量方法和4种局部度量方法在短文本情感分析中的表现进行了评估。结果表明，大多数度量方法均提升了二元基线性能，其中rf、kl和wllr等度量方法表现稳定且有效；表现良好的度量方法具有广泛分布和非零均值，而表现较差的度量方法则呈现狭窄且接近零的分布。

ABSTRACT

Term weighting metrics assign weights to terms in order to discriminate the important terms from the less crucial ones. Due to this characteristic, these metrics have attracted growing attention in text classification and recently in sentiment analysis. Using the weights given by such metrics could lead to more accurate document representation which may improve the performance of the classification. While previous studies have focused on proposing or comparing different weighting metrics at two-classes document level sentiment analysis, this study propose to analyse the results given by each metric in order to find out the characteristics of good and bad weighting metrics. Therefore we present an empirical study of fifteen global supervised weighting metrics with four local weighting metrics adopted from information retrieval, we also give an analysis to understand the behavior of each metric by observing and analysing how each metric distributes the terms and deduce some characteristics which may distinguish the good and bad metrics. The evaluation has been done using Support Vector Machine on three different datasets: Twitter, restaurant and laptop reviews.

研究动机与目标

• 理解为何某些有监督的词项加权度量方法在短文本情感分析中优于其他方法。
• 分析全局和局部词项加权度量方法在不同数据集上的分布行为。
• 识别区分高性能与低性能词项加权度量方法的特征。
• 评估结合局部与全局加权方案对分类性能的影响。
• 提供超越报告F1分数的实证洞察，重点关注底层的分布模式。

提出的方法

• 在三个基准数据集（Twitter、餐厅评论和笔记本电脑评论）上，对15种全局有监督词项加权度量方法和4种局部加权度量方法进行实证评估。
• 所有实验均使用支持向量机（SVM）作为分类器，以确保在不同度量方法间评估的一致性。
• 采用标准向量空间模型（VSM）表示法，结合二元、tf、atf、logtf以及sumstd/局部归一化方法进行局部加权。
• 通过计算所有局部与全局度量组合下的F1分数来衡量性能，以评估相对有效性。
• 分析每种全局度量方法在语料库中词项权重的分布，重点关注均值、标准差和偏度。
• 在不同数据集之间进行结果对比，以识别出表现一致的度量方法，并评估度量行为的泛化能力。

实验结果

研究问题

• RQ1 哪些全局和局部词项加权度量方法在多样化的短文本数据集中能持续提升情感分类性能？
• RQ2 词项权重的统计分布（均值、方差、偏度）如何与特定度量方法的性能相关联？
• RQ3 在短文本情感分析中，哪些特征能够区分高性能与低性能的词项加权度量方法？
• RQ4 当与全局度量方法结合时，局部加权方案在多大程度上影响整体性能？
• RQ5 在不同领域（如Twitter与产品评论）之间，能否识别出度量行为的一致性模式？

主要发现

• 在笔记本电脑数据集上，二元基线（bl*tp）的F1得分为69.33%，大多数全局度量方法均优于该基线。
• 当与atf局部加权结合时，度量方法dsidf在笔记本电脑数据集上取得了最高的F1得分72.02%。
• 度量方法ne在与atf结合时，在笔记本电脑数据集上取得了71.71%的F1得分，位列顶尖组合之中。
• 如rf、kl和wllr等度量方法在所有三个数据集中均表现出稳定优异的性能，显示出良好的鲁棒性。
• 表现较差的度量方法特征为分布狭窄且均值接近零，表明其判别能力有限。
• 当与有效的全局度量方法结合时，局部度量方法如tf和atf显著提升了性能，尤其在Twitter和餐厅评论数据集中表现突出。