[论文解读] Overview of the CLEF-2018 CheckThat! Lab on Automatic Identification and Verification of Political Claims. Task 1: Check-Worthiness

Pepa Atanasova, Alberto Barrón‐Cedeño+6 more|arXiv (Cornell University)|Aug 8, 2018

Natural Language Processing Techniques被引用 16

一句话总结

本文介绍了 CLEF-2018 CheckThat! 实验室任务1，该任务聚焦于自动识别并排序政治声明，以确定事实核查的优先级。表现最佳的系统采用了深度学习模型、分布表示和句法特征，英文数据集的平均平均精度（MAP）达到0.18，阿拉伯文数据集达到0.15，所有数据和工具均已发布，以推动事实核查优先级估计的进一步研究。

ABSTRACT

We present an overview of the CLEF-2018 CheckThat! Lab on Automatic Identification and Verification of Political Claims, with focus on Task 1: Check-Worthiness. The task asks to predict which claims in a political debate should be prioritized for fact-checking. In particular, given a debate or a political speech, the goal was to produce a ranked list of its sentences based on their worthiness for fact checking. We offered the task in both English and Arabic, based on debates from the 2016 US Presidential Campaign, as well as on some speeches during and after the campaign. A total of 30 teams registered to participate in the Lab and seven teams actually submitted systems for Task~1. The most successful approaches used by the participants relied on recurrent and multi-layer neural networks, as well as on combinations of distributional representations, on matchings claims' vocabulary against lexicons, and on measures of syntactic dependency. The best systems achieved mean average precision of 0.18 and 0.15 on the English and on the Arabic test datasets, respectively. This leaves large room for further improvement, and thus we release all datasets and the scoring scripts, which should enable further research in check-worthiness estimation.

研究动机与目标

• 开发自动化系统，以识别辩论或演讲中哪些政治声明最值得进行事实核查。
• 应对在信息量大、传播速度快的环境中优先处理声明的挑战，因为人工事实核查能力有限。
• 在2016年美国总统竞选期间的英文和阿拉伯文政治辩论数据上评估系统性能。
• 发布标注数据集和评估脚本，以支持未来在自动事实核查优先级估计方面的研究。
• 探索神经网络、词汇匹配和句法特征在预测事实核查优先级方面的有效性。

提出的方法

• 该任务要求参赛者根据事实核查优先级对政治辩论和演讲中的句子进行排序，输出为排序列表。
• 使用平均平均精度（MAP）进行评估，以 factcheck.org 提供的黄金标准标注作为基线。
• 参赛者采用了循环神经网络（RNNs）、多层神经网络以及结合分布词表示与句法依存分析的混合模型。
• 使用词汇匹配技术将声明中的词汇与事实核查相关词典对齐。
• 集成方法通过累加多个系统的归一化得分来组合预测结果，从而提升性能，优于单一系统。
• 进行了消融实验，以评估各系统对集成性能的贡献。

实验结果

研究问题

• RQ1 哪些特征和架构最能预测哪些政治声明最适合作为事实核查对象？
• RQ2 在事实核查优先级估计中，英文和阿拉伯文政治文本的性能表现有何差异？
• RQ3 在该排序任务中，集成方法在多大程度上能提升性能，优于单一系统？
• RQ4 分布表示和句法特征在识别值得核查的声明方面有何贡献？
• RQ5 使用事实核查词典进行词汇匹配，能否增强对高优先级声明的检测？

主要发现

• 表现最佳的系统在英文测试集上的平均平均精度（MAP）达到0.18，在阿拉伯文测试集上达到0.15。
• 通过累加多个系统归一化得分的集成方法，相比最佳单一系统，英文数据集的MAP提升了3.4%，阿拉伯文数据集提升了3.6%。
• 从集成中移除某些系统（如'blue'）有时反而提升了性能，表明各系统贡献不均，提示存在模型层面集成的潜力。
• 消融实验表明，大多数单一系统对集成有正向贡献，但部分系统贡献为负或可忽略。
• 结果表明仍有显著提升空间，当前性能仍较低，提示需要更优的特征工程和模型架构。
• 所有数据集和评估脚本均已发布，以支持未来在自动事实核查优先级估计方面的研究。