[论文解读] Satirical News Detection and Analysis using Attention Mechanism and Linguistic Features

Fan Yang, Arjun Mukherjee+1 more|arXiv (Cornell University)|Sep 4, 2017

Sentiment Analysis and Opinion Mining参考文献 40被引用 5

一句话总结

本文提出一种四层分层神经网络，结合注意力机制，通过分析段落级语言特征（如心理语言学、写作风格、结构和可读性特征）以及文档级特征，检测讽刺性新闻。该模型在识别讽刺线索集中于特定复杂段落方面优于仅使用文档级特征的方法，段落级特征在大多数特征类型中比文档级特征更具信息量，而可读性特征在文档层面更为相关。

ABSTRACT

Satirical news is considered to be entertainment, but it is potentially deceptive and harmful. Despite the embedded genre in the article, not everyone can recognize the satirical cues and therefore believe the news as true news. We observe that satirical cues are often reflected in certain paragraphs rather than the whole document. Existing works only consider document-level features to detect the satire, which could be limited. We consider paragraph-level linguistic features to unveil the satire by incorporating neural network and attention mechanism. We investigate the difference between paragraph-level features and document-level features, and analyze them on a large satirical news dataset. The evaluation shows that the proposed model detects satirical news effectively and reveals what features are important at which level.

研究动机与目标

• 为应对讽刺性新闻检测的挑战，此类新闻虽旨在娱乐读者，却可能误导其理解。
• 克服现有仅基于文档级特征方法的局限性，避免忽略细微且局部化的讽刺线索。
• 探究段落级与文档级语言特征在讽刺性新闻检测中的相对重要性。
• 开发一种分层神经网络并结合注意力机制，识别并加权最具代表性的讽刺段落以实现分类。
• 为讽刺的语言特征（如情感基调、句子复杂度和修辞语言使用）提供深入见解。

提出的方法

• 一个四层分层网络在字符、单词、段落和文档四个层级处理文本，以建模语言结构。
• 段落级特征（包括心理语言学、写作风格、结构和可读性特征）被嵌入并输入注意力机制，以识别高影响力段落。
• 注意力机制为每个段落计算相关性得分，使模型能够聚焦于最能体现讽刺的文本片段。
• 文档级特征被聚合，并与经过注意力加权的段落表示结合，用于最终分类。
• 模型采用交叉熵损失进行端到端训练，并在包含16,000余篇讽刺新闻和160,000余篇真实新闻的大型数据集上进行评估。
• 注意力得分的可视化有助于解释哪些段落及语言模式（如大写字母、引号、幽默）对讽刺检测最为显著。

实验结果

研究问题

• RQ1 段落级语言特征与文档级特征在检测讽刺性新闻方面有何差异？
• RQ2 哪些具体语言特征（心理语言学、写作风格、结构、可读性）在不同文本层级上对讽刺最具预测力？
• RQ3 注意力机制能否有效识别并突出新闻文章中最具讽刺意味的段落？
• RQ4 在段落层级上，讽刺新闻与真实新闻在句子复杂度和情感基调方面有多大差异？
• RQ5 可读性和结构特征在讽刺新闻检测的最终分类决策中发挥何种影响？

主要发现

• 段落级特征（尤其是心理语言学、写作风格和结构特征）在检测讽刺方面比文档级特征更具信息量。
• 可读性特征在文档层级更为重要，表明讽刺新闻整体上可能更易理解，尽管内容具有欺骗性。
• 讽刺新闻段落表现出更高的句子复杂度，包含更多从句、大写字母和引号，表明其为达到喜剧或反讽效果而刻意构建写作风格。
• 注意力机制成功突出了讽刺内容较高的段落，包括包含反讽、幽默和争议性话题的段落，表现为高注意力得分。
• 心理语言学特征如‘Humans’、‘Social’和‘Leisure’表明讽刺文本中情感和想象力更丰富，而‘Past’和‘VBN’在真实新闻中更常见，因其常用于叙述过去事件。
• 该模型通过利用段落级注意力实现高效检测，表明讽刺往往集中于特定的语言复杂段落，而非在整个文档中均匀分布。