[论文解读] Rule-based Emotion Detection on Social Media: Putting Tweets on Plutchik's Wheel

Erik Tromp, Mykola Pechenizkiy|arXiv (Cornell University)|Dec 15, 2014

Sentiment Analysis and Opinion Mining参考文献 12被引用 28

一句话总结

本文提出 RBEM-Emo，一种基于规则的情绪检测方法，利用普莱奇克情绪轮（Plutchik's wheel of emotions）对社交媒体文本中的情绪进行检测，将规则基发射模型（Rule-Based Emission Model）扩展至八种基本情绪的分类。该方法在 Affect 数据集上达到 88.4% 的准确率，在新的多语言 Twitter 基准测试中跨三种语言平均准确率达 52.4%，优于当前最先进（SOTA）的技术，包括递归自编码器。

ABSTRACT

We study sentiment analysis beyond the typical granularity of polarity and instead use Plutchik's wheel of emotions model. We introduce RBEM-Emo as an extension to the Rule-Based Emission Model algorithm to deduce such emotions from human-written messages. We evaluate our approach on two different datasets and compare its performance with the current state-of-the-art techniques for emotion detection, including a recursive auto-encoder. The results of the experimental study suggest that RBEM-Emo is a promising approach advancing the current state-of-the-art in emotion detection.

研究动机与目标

• 将情感分析从极性判断推进至社交媒体文本中细微情绪的检测。
• 开发一种透明、基于规则的系统，与普莱奇克情绪模型保持一致，实现一致且可解释的分类。
• 通过提升少数类情绪类别上的性能，缓解情绪数据集中类别不平衡的问题。
• 创建一个公开可用的多语言基准，用于情绪检测，以促进可复现研究并实现方法间的公平比较。
• 将规则基发射模型（RBEM）从极性检测扩展至使用语言模式和情绪层次结构的多类别情绪分类。

提出的方法

• 将规则基发射模型（RBEM）适配用于从普莱奇克情绪轮中检测八种基本情绪：喜悦、信任、恐惧、惊讶、悲伤、厌恶、愤怒和期待。
• 使用手工构建的语言模式检测情绪表达，包括带有情感倾向的词汇、情感极性转换词（如否定词）以及强度修饰词。
• 采用分层分类策略，将情绪沿四条双极轴（如喜悦–悲伤、信任–恐惧）分组，实现结构化推理。
• 使用模式匹配引擎，根据情绪指示短语的出现频率和强度对消息进行打分，并设置置信度阈值以完成分类。
• 引入 TF-IDF 和词频特征以与统计分类器进行对比，而 RBEM-Emo 仅依赖基于规则的模式匹配。
• 最初过滤掉非英语、非荷兰语和非德语的消息，通过人工验证确保最终数据集的语言准确性。

实验结果

研究问题

• RQ1 基于规则的系统能否有效利用普莱奇克情绪轮作为语义框架，在社交媒体文本中检测情绪？
• RQ2 在情绪检测任务中，RBEM-Emo 与最先进神经网络和统计模型（如递归自编码器和 SVM）相比，性能表现如何？
• RQ3 情绪数据集中的类别不平衡在多大程度上影响通用分类器的性能？基于规则的方法能否缓解此问题？
• RQ4 在多语言社交媒体环境中，RBEM-Emo 方法在荷兰语、英语和德语中的泛化能力如何？
• RQ5 公开可用的多语言基准能否提升情绪检测研究中的可复现性与标准化水平？

主要发现

• 在包含中性消息的 Affect 数据集上，RBEM-Emo 达到 88.4% 的准确率，显著优于多数类基线（84.4%）及其他所有测试的分类器。
• 在相同数据集上，当排除中性消息后，RBEM-Emo 达到 67.1% 的准确率，超过 SVM（65.0%）、回归模型（63.4%）和递归自编码器（60.4%）模型。
• 在新的多语言 Twitter 基准测试中，RBEM-Emo 在荷兰语中达到 56.7% 准确率，英语中为 47.2%，德语中为 53.2%，总平均准确率为 52.4%，在所有语言中均优于其他所有模型。
• 递归自编码器在英语上仅达到 31.0% 的准确率，平均准确率为 42.7%，表明其在小型多语言数据集上效果有限。
• SVM 和回归模型在去除中性类别后性能有所提升，表明类别不平衡对通用分类器影响显著。
• 使用 TF-IDF 特征略微提升了性能，但无论特征表示形式如何，RBEM-Emo 的基于规则方法始终表现更优。