[论文解读] Seeing stars: Exploiting class relationships for sentiment categorization with respect to rating scales

Bo Pang, Lillian Lee|ArXiv.org|Jun 17, 2005

Sentiment Analysis and Opinion Mining参考文献 22被引用 726

一句话总结

本文提出了一种度量标注元算法，通过显式建模标签相似性（例如，'三颗星'比'一颗星'更接近'四颗星'）并引入一种基于正面句子占比的新型项目相似性度量，从而提升在多点评分尺度（如1–5星）上的情感分类性能。该方法显著优于标准的基于SVM的多分类与回归方法，尤其在结合此定制相似性度量时表现更优。

ABSTRACT

We address the rating-inference problem, wherein rather than simply decide whether a review is "thumbs up" or "thumbs down", as in previous sentiment analysis work, one must determine an author's evaluation with respect to a multi-point scale (e.g., one to five "stars"). This task represents an interesting twist on standard multi-class text categorization because there are several different degrees of similarity between class labels; for example, "three stars" is intuitively closer to "four stars" than to "one star". We first evaluate human performance at the task. Then, we apply a meta-algorithm, based on a metric labeling formulation of the problem, that alters a given n-ary classifier's output in an explicit attempt to ensure that similar items receive similar labels. We show that the meta-algorithm can provide significant improvements over both multi-class and regression versions of SVMs when we employ a novel similarity measure appropriate to the problem.

研究动机与目标

• 为解决评分推理问题，即从文本中预测数值评分（如1–5星），而非仅二元情感判断。
• 探究人类是否能可靠地区分评分分值的微小差异，以验证该任务的可行性。
• 通过显式建模评分标签之间的序数关系（如评分尺度上的接近程度），改进多分类情感分类。
• 开发并评估一种元算法，通过调整基础分类器的输出，确保相似项目获得相似标签，同时利用标签与项目相似性。
• 探讨不同算法方法（一对多、回归、度量标注）在该任务上的有效性。

提出的方法

• 本文将评分推理任务形式化为度量标注问题，通过距离度量（如 |3−4| < |3−1|）编码标签相似性。
• 应用一种元算法，对基础分类器（如SVM）的输出进行标签重分配，通过图优化方法确保相似项目获得相似标签。
• 提出一种新型项目相似性度量，基于评论中正面句子的占比，以捕捉评论之间的语义相似性。
• 在监督与半监督设置下评估该方法，性能通过五星级评分尺度上的准确率进行衡量。
• 将该方法与标准多分类SVM、回归SVM及一对多SVM进行比较，结果表明：当结合新型相似性度量时，度量标注框架表现更优。
• 通过定义适当的标签度量，该框架可扩展至其他序数分类任务，如情感类型、阅读水平或紧急程度分类。

实验结果

研究问题

• RQ1 当评估同一作者的作品时，人类标注者能否可靠地区分评分差异为三个或以上档位的情况（如1星 vs. 2星）？
• RQ2 显式建模标签相似性（如'三颗星'比'一颗星'更接近'四颗星'）是否能提升在评分尺度上情感分类的性能？
• RQ3 基于正面句子占比的新型项目相似性度量能否提升基于度量标注分类器的性能？
• RQ4 在评分推理任务中，度量标注元算法相较于标准多分类与回归方法，在准确率方面表现如何？
• RQ5 度量标注框架能否推广至情感评分以外的其他序数分类问题？

主要发现

• 当评分差异达到三个或以上档位时，人类受试者在区分评分对时达到了100%的准确率，验证了细粒度评分推理的可行性。
• 一对多（OVA）SVM基线在五分类评分任务上达到65.4%的准确率，而结合正面句子占比（PSP）相似性度量的度量标注方法将其提升至66.3%。
• 基于回归的方法达到61.4%的准确率，低于OVA方法，但通过结合PSP相似性度量的度量标注框架进一步提升至61.5%。
• 当结合新型PSP相似性度量时，度量标注元算法在性能上显著优于标准多分类与回归SVM。
• 该方法在作者间标签校准存在差异的情况下仍表现出鲁棒性，表明其在不同评分尺度间具有潜在泛化能力。
• 通过定义适当的标签距离度量，该框架可扩展至其他序数分类任务，如情感类型、阅读水平或紧急程度分类。