[论文解读] SemEval-2020 Task 11: Detection of Propaganda Techniques in News Articles

Giovanni Da San Martino, Alberto Barrón‐Cedeño+3 more|arXiv (Cornell University)|Sep 6, 2020

Misinformation and Its Impacts参考文献 69被引用 23

一句话总结

本文介绍了 SemEval-2020 任务 11，这是一个关于在新闻文章中细粒度检测宣传技巧的共享任务，包含两个子任务：片段识别（定位宣传片段）和技巧分类（为每个片段分配 14 种宣传技巧中的一种）。最佳系统使用了预训练的 Transformer 模型和集成方法，在片段识别方面表现强劲，而技巧分类由于数据稀疏性和细微的语言线索仍具挑战性。

ABSTRACT

We present the results and the main findings of SemEval-2020 Task 11 on Detection of Propaganda Techniques in News Articles. The task featured two subtasks. Subtask SI is about Span Identification: given a plain-text document, spot the specific text fragments containing propaganda. Subtask TC is about Technique Classification: given a specific text fragment, in the context of a full document, determine the propaganda technique it uses, choosing from an inventory of 14 possible propaganda techniques. The task attracted a large number of participants: 250 teams signed up to participate and 44 made a submission on the test set. In this paper, we present the task, analyze the results, and discuss the system submissions and the methods they used. For both subtasks, the best systems used pre-trained Transformers and ensembles.

研究动机与目标

• 实现对新闻文章中宣传技巧的细粒度检测，超越文档级别的分类。
• 解决识别宣传技巧使用具体文本片段的挑战，提升相对于粗粒度方法的精确度。
• 对每个识别出的片段分类其应用的具体宣传技巧，支持对说服策略的深入分析。
• 为研究人员提供标准化的基准和数据集，以推动自动化宣传检测的发展。
• 通过开发帮助用户独立识别操纵性语言的工具，提高对宣传的认识，而不完全依赖自动化系统。

提出的方法

• 该任务被划分为两个子任务：子任务 SI（片段识别）被定义为二元序列标注问题，用于在文本中定位宣传片段。
• 子任务 TC（技巧分类）要求使用文档上下文，将识别出的片段多类别分类为 14 种预定义的宣传技巧之一。
• 参赛者采用了最先进的深度学习模型，主要为预训练的 Transformer 架构，如 BERT 和 RoBERTa，并在标注语料上进行微调。
• 广泛使用了集成方法，通过组合多个模型的预测结果以提高鲁棒性和性能。
• 数据集基于一份经过筛选的 14 种内在可识别的宣传技巧列表构建，排除了需要外部验证的技巧。
• 评估使用标准 NLP 指标：两个子任务均使用 F1 分数，严格的标注指南确保了一致性和可靠性。

实验结果

研究问题

• RQ1 预训练的 Transformer 模型在识别新闻文章中细粒度宣传片段方面的有效性如何？
• RQ2 在使用上下文表示和集成学习时，宣传技巧的多类别分类能在多大程度上得到改善？
• RQ3 当宣传技巧细微、依赖上下文或在训练数据中代表性不足时，分类的主要挑战是什么？
• RQ4 将任务拆分为两个子任务——片段检测和技巧分类——与联合检测相比，对整体性能有何影响？
• RQ5 部署自动化宣传检测系统具有哪些伦理影响，特别是关于误报和用户信任的问题？

主要发现

• 在子任务 SI（片段识别）中表现最佳的系统相比基线取得了显著提升，表明现代 NLP 模型能够实现细粒度片段检测。
• 子任务 TC（技巧分类）证明要困难得多，部分团队未能超越基线，凸显了在相似或细微宣传技巧之间进行区分的挑战。
• 子任务 SI 的最高 F1 分数由基于 BERT 的架构和集成技术的模型实现，证明了上下文嵌入的有效性。
• 对于子任务 TC，表现最佳的系统同样依赖于预训练的 Transformer 模型和集成，但性能仍受限，特别是对于低频技巧。
• 该任务吸引了 250 支团队，其中 44 支在测试集上提交了结果，表明研究界对细粒度宣传检测有浓厚兴趣。
• 作者警告称，自动化系统不应用于作为确定性真相检测器，而应作为教育工具，帮助用户独立识别宣传。