[论文解读] `Who would have thought of that!': A Hierarchical Topic Model for Extraction of Sarcasm-prevalent Topics and Sarcasm Detection

Aditya Joshi, Prayas Jain+2 more|arXiv (Cornell University)|Nov 14, 2016

Sentiment Analysis and Opinion Mining参考文献 20被引用 5

一句话总结

本文提出了一种监督式层次化主题模型，通过分析推文中的情感词分布来识别充满反语的主题。通过建模主题、情感和标签切换变量，该模型在反语检测任务中的F-score相比先前基于特征的分类器提升了25%，识别出如'work'和'weather'等主题具有高度反语性。

ABSTRACT

Topic Models have been reported to be beneficial for aspect-based sentiment analysis. This paper reports a simple topic model for sarcasm detection, a first, to the best of our knowledge. Designed on the basis of the intuition that sarcastic tweets are likely to have a mixture of words of both sentiments as against tweets with literal sentiment (either positive or negative), our hierarchical topic model discovers sarcasm-prevalent topics and topic-level sentiment. Using a dataset of tweets labeled using hashtags, the model estimates topic-level, and sentiment-level distributions. Our evaluation shows that topics such as `work', `gun laws', `weather' are sarcasm-prevalent topics. Our model is also able to discover the mixture of sentiment-bearing words that exist in a text of a given sentiment-related label. Finally, we apply our model to predict sarcasm in tweets. We outperform two prior work based on statistical classifiers with specific features, by around 25\%.

研究动机与目标

• 为解决自然语言中反语检测的挑战，利用主题建模这一此前未应用于反语检测的技术。
• 通过分析推文中情感词的分布，发现本质上易产生反语的主题。
• 通过建模讽刺内容中特有的正面与负面情感词混合模式，提升反语检测性能。
• 评估模型提取有意义的反语高发主题并用于下游反语分类的能力。
• 证明主题建模在反语检测任务中可超越传统基于特征的分类器。

提出的方法

• 该模型在监督式潜在狄利克雷分配（LDA）基础上扩展了三个隐变量：主题（z）、情感（s）和一个切换变量（is），用于建模情感词。
• 采用条件分布链结构，其中情感标签由主题内情感词的混合决定。
• 利用包含166,955条标注推文（正面、负面、反语）的语料库，估计主题级别和情感级别的分布。
• 采用两种推理方法：基于对数似然的预测（选择似然最高的标签）和基于采样的预测（使用MCMC过程中最后采样的标签）。
• 模型学习每个主题和每个推文级别情感标签的情感词比例，捕捉讽刺与直白推文中情感混合的差异。
• 评估包括对反语高发主题的定性分析，以及与两种先前基于特征的反语检测方法的定量比较。

实验结果

研究问题

• RQ1 哪些主题在情感词分布上显示出更高的反语倾向？
• RQ2 主题模型能否有效捕捉讽刺推文中特有的情感混合模式，与直白的正面或负面推文相区别？
• RQ3 与传统基于特征的分类器相比，主题模型在多大程度上能提升反语检测性能？
• RQ4 根据模型，情感词分布如何在直白正面、直白负面和讽刺推文中表现出差异？
• RQ5 所发现的反语高发主题能否有效用于端到端的反语检测？

主要发现

• 该模型成功识别出如'work'、'gun laws'和'weather'等反语高发主题，这些主题表现出高度的情感混合。
• 讽刺推文的情感分布显著不同——许多讽刺推文含有高比例的正面情感词，而直白的正面或负面推文则不然。
• 基于对数似然的推理方法取得了41.34%的F-score，相比两种先前基于特征的方法（F-score约18–19%）提升了约25个百分点。
• 基于采样的方法取得了21.42%的F-score，表明对数似然推理在此任务中更为有效。
• 模型的定性结果证实，情感混合是反语的关键信号，讽刺推文表现出平衡或混合的情感词比例。
• 该模型表明，主题建模能够有效提取主题与情感结构用于反语检测，为特征工程提供了一种新颖的替代方案。