[论文解读] WAC: A Corpus of Wikipedia Conversations for Online Abuse Detection

Noé Cécillon, Vincent Labatut|arXiv (Cornell University)|Jan 1, 2019

Hate Speech and Cyberbullying Detection参考文献 16被引用 4

一句话总结

本论文介绍了WAC，一个大规模、公开可用的语料库，包含383,000条标注过的维基百科对话消息，覆盖193,000个讨论线程，具备高质量的滥用标签。该研究提出了一种重构流程，结合维基百科评论语料库与修订历史，以保留对话上下文，并引入了一个基准测试平台，以实现对滥用检测方法的公平比较。通过使用Google Perspective API和一种文本与图结合的混合分类器进行基线评估，展示了上下文感知模型的实用性。

ABSTRACT

Figures used in "WAC: A Corpus of Wikipedia Conversations for Online Abuse Detection".https://www.aclweb.org/anthology/2020.lrec-1.173/<br>

研究动机与目标

• 为解决缺乏大规模、公开可用的、针对在线滥用行为标注的完整维基百科对话线程语料库的问题。
• 通过引入共享的基准测试平台，提升滥用检测方法的可复现性与公平比较性。
• 通过在数据集中保留对话结构与动态特征，支持基于上下文的滥用检测研究。
• 为训练和评估基于内容与基于结构的滥用检测模型，提供高质量、可扩展的资源。

提出的方法

• 通过唯一标识符（rev_id 和 page_id）将维基百科评论语料库中的消息与其对应的修订历史链接起来，以重建完整的对话线程。
• 应用多步骤流程提取消息级别的标注，包括消息类型、作者、讨论页以及来自人工标注数据的滥用标签。
• 采用混合分类方法，结合基于文本的特征（如TF-IDF、n-gram）与基于对话结构的图特征（如回复树、拓扑度量）。
• 开发一个开源的基准测试平台，标准化数据划分、评估指标（精确率、召回率、F1）和模型集成方式，以实现一致的比较。
• 利用Google Perspective API生成基线毒性评分，采用相等错误率阈值（毒性 >0.64，严重毒性 >0.92）进行二分类。
• 使用语料库提供的标准化训练/验证/测试划分，在三种不同的滥用类型上评估方法：人身攻击、攻击性言论和毒性。

实验结果

研究问题

• RQ1 能否从现有的维基百科评论数据与修订日志中，重建大规模、公开可用的完整维基百科对话线程语料库，并附以高质量的标注？
• RQ2 与孤立消息分类相比，包含对话上下文是否能显著提升自动化滥用检测模型的性能？
• RQ3 当应用于结构化对话数据时，预训练模型（如Google Perspective API）在不同滥用类型（人身攻击、攻击性言论、毒性）上的泛化能力如何？
• RQ4 结合对话文本特征与结构特征的混合模型，是否能在滥用检测中超越纯文本模型或仅依赖结构的模型？
• RQ5 共享的基准测试平台在实现对标准化语料库上多样化滥用检测方法的公平、可复现评估方面，效果如何？

主要发现

• WAC语料库包含193,000个对话线程中的383,000条标注消息，具备高质量的人工标注滥用标签，是目前公开可用的最大规模对话级滥用检测数据集之一。
• Google Perspective API在毒性数据集上的F1得分约为75%，但在人身攻击和攻击性言论任务上性能显著下降，表明其在不同滥用类型间泛化能力有限。
• Perspective API的严重毒性评分表现出较高的召回率（约70%）但精确率较低（约54%），表明存在较高的误报率，这证实了自动化标注相比人工标注的可靠性较低。
• 所提出的文本与图结合的混合分类器在所有三种滥用类型上的F1得分均约为75%，优于Perspective API的毒性评分，但相较于其他语料库上的先前工作仍表现欠佳。
• 基准测试平台实现了方法的一致性评估与比较，通过标准化的数据划分与评估指标，降低了结果不可复现的风险，推动了滥用检测研究的可复现性。
• 研究指出，专为线性聊天对话设计的图特征在维基百科讨论页上效果较差，因为后者通常具有非线性、多分支的讨论结构，表明需要开发针对性的结构建模技术。