[论文解读] Self-Supervised Claim Identification for Automated Fact Checking

Archita Pathak, Mohammad Abuzar Shaikh+1 more|arXiv (Cornell University)|Feb 3, 2021

Misinformation and Its Impacts参考文献 32被引用 4

一句话总结

本文提出一种自监督、基于注意力机制的模型（MA-CIN），通过利用标题与内容之间的主题关联性，识别虚假新闻文章中的‘值得主张’句子，从而无需昂贵的人工标注。该模型在三个数据集上均表现出色，并引入了一个新的基准数据集，包含真实性标签和证据，以支持自动化事实核查。

ABSTRACT

We propose a novel, attention-based self-supervised approach to identify "claim-worthy" sentences in a fake news article, an important first step in automated fact-checking. We leverage "aboutness" of headline and content using attention mechanism for this task. The identified claims can be used for downstream task of claim verification for which we are releasing a benchmark dataset of manually selected compelling articles with veracity labels and associated evidence. This work goes beyond stylistic analysis to identifying content that influences reader belief. Experiments with three datasets show the strength of our model. Data and code available at https://github.com/architapathak/Self-Supervised-ClaimIdentification

研究动机与目标

• 解决在虚假新闻文章中识别值得主张句子的可扩展性、低资源方法缺乏的问题。
• 克服现有监督和弱监督方法的局限性，这些方法依赖于昂贵的人工标注。
• 开发一种自监督框架，利用标题与文章内容之间的语义关系（主题关联性）检测具有影响力且可验证的主张。
• 创建一个新的基准数据集，包含人工标注的真实性标签和支撑证据，用于虚假新闻文章的事实核查任务。
• 实现可扩展、可泛化的主张检测，捕捉影响读者信念的内容，而不仅依赖于风格线索。

提出的方法

• 提出一种自监督、多头注意力机制的神经网络（MA-CIN），用于建模文章标题（查询）与每个句子（文档）之间的主题关联性。
• 将标题与每个句子之间的注意力权重作为主张价值的代理指标，注意力分数越高，表示与文章核心主张的相关性越强。
• 通过对比学习目标端到端训练模型，最大化对相关句子的注意力，同时最小化对无关句子的注意力，无需标注主张。
• 利用预训练的句子编码器（如 BERT）初始化句子和标题的表示，再进行注意力计算。
• 应用对比损失函数，基于信息检索中的‘主题关联性’概念，鼓励模型对与标题语义一致的句子给予高注意力。
• 在少量人工筛选的、带有真实性标签和证据的虚假新闻文章上微调模型，以提升泛化能力。

实验结果

研究问题

• RQ1 自监督模型能否在无需人工标注主张的情况下，有效识别虚假新闻中的值得主张句子？
• RQ2 与传统监督或弱监督方法相比，注意力机制在捕捉标题与内容之间语义‘主题关联性’方面表现如何？
• RQ3 所提出的模型在主题和结构多样的虚假新闻数据集上泛化能力如何？
• RQ4 当训练过程中无标注主张时，模型性能与监督基线相比如何？
• RQ5 当词汇重叠极少时，模型能否检测到与标题语义相关的主张？

主要发现

• MA-CIN 模型在三个不同数据集（DNF_Eval、CDC_Eval 和一个新基准）上表现优异，且训练过程中无需任何人工标注的主张。
• 在定性分析中，模型在样本文章中正确识别出 3 个排名前 5 的人工评估主张，表明其在语义相关性方面与人类判断高度一致。
• 模型成功捕捉了语义主题关联性：对语义不匹配的句子（如句子 1，虽共享词汇但语义不符）分配低注意力，而对语义一致的主张（如句子 2、12、13）则赋予高注意力。
• 注意力模式显示，模型学会了将相关句子分组（如句子 3–8 形成叙事链），并避免对同一句子的自注意力，表明其推理能力稳健。
• 模型识别出部分句子（如句子 3 和 4）为相关句，即使它们不在真实标签中，表明其具备超越标注者共识的更广泛主张检测潜力。
• 模型性能对人工标注数据中的主观偏差具有鲁棒性，多个评估案例中均表现出一致的注意力模式。