[论文解读] You are right. I am ALARMED -- But by Climate Change Counter Movement

Shraey Bhatia, Jey Han Lau+1 more|arXiv (Cornell University)|Apr 30, 2020

Climate Change Communication and Perception参考文献 24被引用 7

一句话总结

本文引入了一个大规模、领域特定的气候变化错误信息文章数据集，数据来源为气候变化反运动（CCCM）组织，同时提供了来自可信新闻、讽刺媒体和基于科学的媒体的平衡测试集。该研究提出了一项新颖的自然语言处理（NLP）基准，用于检测基于风格和语言线索的气候变化错误信息，从而支持自动化检测系统的发展，以应对气候话语中的虚假信息。

ABSTRACT

The world is facing the challenge of climate crisis. Despite the consensus in scientific community about anthropogenic global warming, the web is flooded with articles spreading climate misinformation. These articles are carefully constructed by climate change counter movement (cccm) organizations to influence the narrative around climate change. We revisit the literature on climate misinformation in social sciences and repackage it to introduce in the community of NLP. Despite considerable work in detection of fake news, there is no misinformation dataset available that is specific to the domain.of climate change. We try to bridge this gap by scraping and releasing articles with known climate change misinformation.

研究动机与目标

• 为解决自然语言处理（NLP）领域中气候变化错误信息检测缺乏领域特定数据集的问题。
• 刻画气候变化反运动（CCCM）组织在传播错误信息时所使用的语言和风格策略。
• 发布一个大规模、经过标注的气候变化错误信息文章数据集，以支持自动化检测研究。
• 构建一个包含可信新闻、讽刺内容和基于科学内容的平衡测试集，以实现对模型的稳健评估。
• 弥合社会科学研究中关于气候变化错误信息与NLP在错误信息检测中的应用之间的差距。

提出的方法

• 从15个已知的CCCM组织中抓取文章，并按叙事框架（科学或政策）进行分类，以确保代表性均衡。
• 按组织级别划分数据集，其中12个组织用于训练，3个组织用于测试，以评估模型对未见过来源的泛化能力。
• 从多样化来源收集测试数据：《卫报》、BBC（可信的气候报道）、Newsroom（非气候文章）、Beetota Advocate（讽刺内容）以及Sceptical Science（基于事实的反驳文章）。
• 采用人工框架标注，以确保各组织中科学与政策叙事的代表性均衡。
• 构建了一个基准数据集，包含1,168篇训练文档和来自五类不同来源的460篇测试文档。
• 利用先前虚假新闻研究中已知的风格和语言特征（如夸张、主观性、情态副词和煽动性语言）来指导检测建模。

实验结果

研究问题

• RQ1 CCCM组织如何通过错误信息、宣传和煽动性语言来构建其叙事，以破坏气候科学？
• RQ2 NLP模型在检测来自此前未见过的CCCM组织的气候变化错误信息方面，其泛化能力如何？
• RQ3 检测模型能否基于语言风格区分气候变化错误信息、可信新闻、讽刺内容和基于科学的反驳文章？
• RQ4 在新闻文章中，哪些风格和语言特征最能预测气候变化错误信息？
• RQ5 当应用于特定领域内容时，现有NLP技术在检测气候变化错误信息方面的有效性如何？

主要发现

• 作者发布了来自15个CCCM组织的1,168篇气候变化错误信息文章的大型标注数据集，科学与政策叙事框架在其中得到均衡体现。
• 测试集包含来自五类不同来源的460篇文档：《卫报》80篇，BBC 60篇，Beetota Advocate（讽刺）70篇，Newsroom（非气候）100篇，Sceptical Science（基于事实）50篇。
• 该数据集支持对模型泛化能力的评估，因为训练集和测试集按组织级别划分，确保了对新CCCM组织的测试能力。
• 研究结果表明，夸张、主观性和煽动性等风格线索在CCCM内容中普遍存在，与政治虚假新闻研究的发现一致。
• 该数据集的发布填补了NLP研究中的关键空白，首次提供了针对气候变化错误信息检测的专用基准。
• 该数据集支持自动化检测系统的发展，有助于遏制媒体和网络平台中气候变化错误信息的传播。