[论文解读] Overview of the Wikidata Vandalism Detection Task at WSDM Cup 2017

Stefan Heindorf, Martin Potthast+2 more|arXiv (Cornell University)|Dec 16, 2017

Wikis in Education and Collaboration参考文献 18被引用 3

一句话总结

本文介绍了 WSDM Cup 2017 中的 Wikidata 恶意编辑检测任务，提出了一种用于检测 Wikidata 中恶意编辑的实时在线学习框架。表现最佳的模型在 ROC 曲线上取得了 0.947 的 AUC，在 PR 曲线上取得了 0.458 的 AUC，所有提交结果与评估代码均已开源，以支持可复现性及未来研究。

ABSTRACT

We report on the Wikidata vandalism detection task at the WSDM Cup 2017. The task received five submissions for which this paper describes their evaluation and a comparison to state of the art baselines. Unlike previous work, we recast Wikidata vandalism detection as an online learning problem, requiring participant software to predict vandalism in near real-time. The best-performing approach achieves a ROC-AUC of 0.947 at a PR-AUC of 0.458. In particular, this task was organized as a software submission task: to maximize reproducibility as well as to foster future research and development on this task, the participants were asked to submit their working software to the TIRA experimentation platform along with the source code for open source release.

研究动机与目标

• 开发一种可扩展的实时系统，用于检测 Wikidata 中的恶意编辑，Wikidata 是一个每月有数百万次编辑的快速发展的知识库。
• 应对检测可能损害下游系统（如搜索引擎和问答工具）的恶意编辑的挑战。
• 通过组织具有标准化评估和开源代码发布的共享任务，促进协作研究。
• 在半自动（排序以供审查）和全自动（自动回滚决策）检测场景下评估模型性能。
• 分析当前特征集的性能极限，并识别未来特征工程方面的创新机会。

提出的方法

• 该任务以软件提交竞赛的形式组织，要求参赛者在 TIRA 平台部署其模型以进行远程执行。
• 从修订历史中整理出一个新的、更新的 Wikidata 恶意编辑语料库 2016，包含用于训练和评估的标注编辑。
• 参赛者需实现客户端-服务器架构，以近实时方式处理编辑，模拟生产环境部署。
• 评估基于 ROC AUC 和 PR AUC，模型根据其在不同精确率-召回率权衡下的恶意编辑检测能力进行排名。
• 在所有提交模型的集成基础上训练了一个元分类器，以评估模型堆叠的潜力及特征集的局限性。
• 所有评估框架及大多数参赛者代码库均已开源，以确保可复现性及社区复用。

实验结果

研究问题

• RQ1 在实时在线学习约束条件下，机器学习模型在检测 Wikidata 恶意编辑方面的表现如何？
• RQ2 在不同精确率-召回率权衡下，各种特征集和模型架构在检测恶意编辑方面的表现如何比较？
• RQ3 集成方法是否能超越单个模型提升检测性能？其主要限制因素是什么？
• RQ4 在涉及复杂软件部署的大规模实时共享任务中，参与的主要障碍是什么？
• RQ5 当前特征集在多大程度上限制了检测性能？未来哪些替代特征可提升模型表现？

主要发现

• 表现最佳的模型在 ROC 曲线上取得了 0.947 的 AUC，在 PR 曲线上取得了 0.458 的 AUC，表明其在实时约束下具备强大的检测能力。
• 在全自动检测场景中，WDVD 基线模型的表现优于所有参赛提交模型，显示出极强的鲁棒性。
• 对所有提交方法进行集成建模仅带来微小的性能提升，表明特征多样性有限。
• 仅有五个团队成功提交了可运行的软件，凸显了尽管有开源激励，部署和系统复杂性仍构成重大挑战。
• 高参与门槛主要归因于数据集规模庞大、实时处理需求以及在 TIRA 平台上的远程虚拟机部署要求。
• 研究结论认为，未来进展依赖于开发根本性的新特征集，例如基于知识图嵌入或心理用户建模的特征。