[论文解读] NewsClaims: A New Benchmark for Claim Detection from News with Attribute Knowledge

Revanth Gangi Reddy, Sai Chetan+9 more|arXiv (Cornell University)|Dec 16, 2021

Topic Modeling被引用 7

一句话总结

本文提出了 NewsClaims，一个用于新闻文章中属性感知型主张检测的新基准，将传统主张检测扩展至包含主张者、主张对象、立场和主张片段等属性。该研究基于143篇与COVID-19相关的新闻文章，构建了889个主张，包含丰富的标注信息，并表明零样本（zero-shot）和基于提示（prompt-based） few-shot 方法虽表现良好但仍逊于人类水平，凸显了在低资源主张检测领域未来研究的潜力。

ABSTRACT

Claim detection and verification are crucial for news understanding and have emerged as promising technologies for mitigating misinformation and disinformation in the news. However, most existing work has focused on claim sentence analysis while overlooking additional crucial attributes (e.g., the claimer and the main object associated with the claim). In this work, we present NewsClaims, a new benchmark for attribute-aware claim detection in the news domain. We extend the claim detection problem to include extraction of additional attributes related to each claim and release 889 claims annotated over 143 news articles. NewsClaims aims to benchmark claim detection systems in emerging scenarios, comprising unseen topics with little or no training data. To this end, we see that zero-shot and prompt-based baselines show promising performance on this benchmark, while still considerably behind human performance.

研究动机与目标

• 通过整合主张者、主张对象和立场等关键属性，弥补现有研究中常被忽视的主张检测研究空白。
• 为在低资源、新兴话题场景（如COVID-19疫情等突发新闻事件）下评估主张检测系统，创建一个新的基准。
• 通过提取结构化属性实现主张的细粒度比较，支持识别等价、矛盾或相关主张。
• 评估基于预训练语言模型的零样本和少样本学习方法在低数据条件下的主张检测有效性。
• 支持开发能够实时检测和分析主张的系统，尤其在新闻媒体中用于虚假信息的缓解。

提出的方法

• 该基准基于143篇涵盖四个COVID-19主题（起源、治疗、传播和防护）的新闻文章构建。
• 每个主张均经人工标注五项属性：主张片段、主张者、主张者的立场、主张对象和主题。
• 该数据集旨在评估系统在零样本和少样本设置下的表现，模拟在未见主题上的实际部署场景。
• 使用预训练语言模型评估零样本和基于提示的少样本基线模型，提示模板针对每个子任务（如主张检测、立场分类、对象检测）进行设计。
• 主张对象被定义为被主张的实体，例如在“该病毒起源于中国”中，“起源”即为主张对象。
• 主张者检测任务需要跨句子推理，尤其当主张者未在主张句中直接提及时，需依赖文档级上下文理解。

实验结果

研究问题

• RQ1 零样本和基于提示的少样本方法能否在低资源新闻场景中有效检测主张并提取相关属性（主张者、主张对象、立场）？
• RQ2 属性感知型主张检测系统在具备丰富多维标注的基准上与人类表现相比如何？
• RQ3 当前NLP模型在新闻文章中新出现的、未见过的主题（如新兴疫情相关主张）上泛化能力如何？
• RQ4 当前主张检测系统在处理包含多个来自不同来源和立场的主张的复杂新闻文章时存在哪些局限性？
• RQ5 如何结构化主张属性以实现主张的有意义比较，例如识别具有相似对象但立场相反的矛盾主张？

主要发现

• NewsClaims 基准包含来自143篇新闻文章的889个主张，标注了主张片段、主张者、立场、主张对象和主题，是首个具备此类属性粒度的新闻数据集。
• 零样本和基于提示的少样本方法在该基准上表现良好，尤其在主张检测和主题分类任务中，但与人类表现仍有显著差距。
• 主张对象检测子任务尤为具挑战性，因为基于自然语言推理（NLI）的现有设定（如“这否定了病毒的起源”）的精确度低于明确包含对象的表述（如“中国并非病毒的起源”）。
• 主张者检测需要文档级推理，尤其当主张者未出现在主张句中时，凸显了对跨句子归属模型的需求。
• 该基准揭示，当多个相似主张来自不同来源时，系统常发生主张归属错误，表明需要更优的上下文感知主张定位方法。
• 尽管零样本结果表现良好，但模型与人工标注者之间的性能差距依然显著，表明在属性感知型主张检测方面仍有巨大改进空间。