[论文解读] Too Many Claims to Fact-Check: Prioritizing Political Claims Based on Check-Worthiness

Yavuz Selim Kartal, Busra Guvenen+1 more|arXiv (Cornell University)|Apr 17, 2020

Misinformation and Its Impacts参考文献 22被引用 4

一句话总结

该论文提出了一种基于 BERT 的混合模型，通过结合微调的 BERT 与手工设计的特征（如词嵌入、词性标注、比较/最高级从句以及特定领域的争议性话题），优先处理政治声明的可信度核查。该模型在 CLEF Check That! 2018 上取得 0.255 的 MAP，在 2019 年取得 0.176 的 MAP，性能达到当前最先进水平，优于所有先前方法。

ABSTRACT

The massive amount of misinformation spreading on the Internet on a daily basis has enormous negative impacts on societies. Therefore, we need automated systems helping fact-checkers in the combat against misinformation. In this paper, we propose a model prioritizing the claims based on their check-worthiness. We use BERT model with additional features including domain-specific controversial topics, word embeddings, and others. In our experiments, we show that our proposed model outperforms all state-of-the-art models in both test collections of CLEF Check That! Lab in 2018 and 2019. We also conduct a qualitative analysis to shed light-detecting check-worthy claims. We suggest requesting rationales behind judgments are needed to understand subjective nature of the task and problematic labels.

研究动机与目标

• 为应对因虚假信息泛滥而难以对政治声明进行可信度核查的挑战。
• 开发一种自动化系统，按可信度核查价值对声明进行排序，以帮助事实核查人员集中关注最关键的内容。
• 通过结合深度学习与特征工程，提升在声明优先排序任务中相对于现有最先进模型的性能。
• 通过定性分析探究可信度标注的主观性与不一致性。
• 倡导收集标注背后的推理依据，以提升模型可解释性与数据质量。

提出的方法

• 在 CLEF Check That! 2018 和 2019 的数据集上对 BERT 模型进行微调，用于声明优先排序任务。
• 将 BERT 的上下文表征与额外特征结合：词嵌入、词性标注、比较/最高级从句标识符，以及特定领域的争议性话题。
• 在 BERT 预测结果与工程化特征的集成基础上，训练逻辑回归分类器，以按可信度核查价值对声明进行排序。
• 通过特征消融研究评估各组件对模型性能的贡献。
• 对模型预测结果与标注进行定性分析，以评估标签主观性与不一致性。
• 请求标注的推理依据，以更好地理解人类判断的差异性，并改进未来数据收集工作。

实验结果

研究问题

• RQ1 在虚假信息泛滥的背景下，如何有效对政治声明进行可信度核查优先排序？
• RQ2 将 BERT 与手工设计特征结合，能在多大程度上提升相对于独立模型的可信度核查排序性能？
• RQ3 主观且不一致的人工标注在多大程度上影响了声明优先排序基准的可靠性？
• RQ4 收集标注的推理依据是否有助于解决分歧，并改善模型训练与评估？
• RQ5 哪些特征对政治声明的可信度核查价值最具预测力？

主要发现

• 所提出的基于 BERT 的混合模型在 CLEF Check That! 2018 测试集上取得 0.255 的平均平均精度（MAP），优于所有先前的最先进模型。
• 在 CLEF Check That! 2019 测试集上，该模型取得 0.176 的 MAP，同样超越所有先前方法。
• 特征消融分析表明，BERT 和词嵌入是影响最大的特征，而手工构建的词表与特定领域的争议性话题也显著贡献。
• 定性分析显示，可信度标注具有高度主观性，即使语义相似的声明也存在不一致的标注。
• 研究识别出一些问题标注，例如将将来时态的声明或非谓语结构的陈述标记为可核查，表明存在标注噪声。
• 作者得出结论：收集标注的推理依据对于理解人类判断的差异性、改进未来系统至关重要。