[论文解读] Sarcasm Detection using Hybrid Neural Network

Rishabh Misra, Prahal Arora|arXiv (Cornell University)|Jan 1, 2018

Sentiment Analysis and Opinion Mining参考文献 8被引用 77

一句话总结

本文提出一种结合CNN、BiLSTM和注意力机制的混合神经网络模型，用于讽刺检测，采用来自《The Onion》和HuffPost的高质量新闻标题数据集。与强基线模型相比，该模型将分类准确率提升了4.82%，并通过突出显示表示讽刺的语义不一致词语短语，实现了可解释性。

ABSTRACT

Sarcasm Detection has enjoyed great interest from the research community, however the task of predicting sarcasm in a text remains an elusive problem for machines. Past studies mostly make use of twitter datasets collected using hashtag based supervision but such datasets are noisy in terms of labels and language. To overcome these shortcoming, we introduce a new dataset which contains news headlines from a sarcastic news website and a real news website. Next, we propose a hybrid Neural Network architecture with attention mechanism which provides insights about what actually makes sentences sarcastic. Through experiments, we show that the proposed model improves upon the baseline by ~ 5% in terms of classification accuracy.

研究动机与目标

• 为解决现有讽刺检测任务中基于Twitter的噪声数据集的局限性，构建一个高质量、正式语言风格的新闻标题数据集。
• 开发一种可解释的深度学习模型，以捕捉局部n-gram模式和序列上下文信息，用于讽刺检测。
• 提供定性洞察，揭示模型所学习到的作为讽刺指标的语言线索，特别是语义不一致的情感共现现象。
• 通过引入注意力机制，突出标题中语义矛盾的短语，从而在性能上超越现有基线模型。

提出的方法

• 使用预训练的word2vec词嵌入作为输入表示，OOV（词汇表外）词语初始化为随机值，并在训练过程中进行微调。
• 卷积神经网络（CNN）从标题文本中提取局部n-gram特征。
• 双向长短期记忆网络（BiLSTM）通过捕捉每个词的前向和后向隐藏状态，编码序列上下文信息。
• 注意力机制通过加权BiLSTM隐藏状态计算上下文向量，聚焦于语义不一致的短语，如“civic engagement”和“oppressing other people”。
• 将注意力机制生成的上下文向量与CNN输出拼接后，输入多层感知机（MLP）进行讽刺的二分类预测。
• 整个模型采用交叉熵损失函数和AdaDelta优化算法进行端到端训练。

实验结果

研究问题

• RQ1 与强基线相比，结合CNN、BiLSTM和注意力机制的混合神经网络架构是否能在高质量数据集上提升讽刺检测的准确率？
• RQ2 该模型学习到了哪些语言线索来识别讽刺，特别是语义不一致的方面？
• RQ3 注意力权重在多大程度上与人类对讽刺的直觉一致，例如对比情感的共现？
• RQ4 该模型的可解释性在多大程度上有助于理解讽刺检测的内在机制？
• RQ5 该模型的迁移学习能力是否能提升在较小、噪声更大的数据集（如Semeval）上的性能？

主要发现

• 所提出的混合模型在测试集上达到89.7%的准确率，相比基线模型的84.88%提升了4.82个百分点。
• 注意力机制成功地突出了语义不一致的词语短语，如“civic engagement”和“oppressing other people”，这些是讽刺的关键指标。
• 定性分析表明，模型聚焦于具有对比情感的短语，与人类对讽刺的认知一致。
• 该模型表现出良好的鲁棒性和可解释性，注意力权重清晰地标识出不真诚或讽刺性的表达，如“bald man”或“stopped paying attention”。
• 与基于Twitter的数据集相比，高质量的新闻标题数据集显著降低了词汇稀疏性和标签噪声，从而提升了模型性能。