[论文解读] Wikidata Vandalism Detection - The Loganberry Vandalism Detector at WSDM Cup 2017

Qi Zhu, Hongwei Ng+5 more|arXiv (Cornell University)|Dec 19, 2017

Natural Language Processing Techniques参考文献 4被引用 4

一句话总结

本文提出了 Loganberry，一种用于检测 Wikidata 恶意篡改的系统，该系统利用语言学、结构和时间特征来预测修订内容的恶意篡改可能性。在 WSDM Cup 2017 挑战赛中，该系统取得了 0.91976 的 ROC-AUC 得分，表现出色，能够有效识别对知识库的恶意编辑。

ABSTRACT

Wikidata is the new, large-scale knowledge base of the Wikimedia Foundation. As it can be edited by anyone, entries frequently get vandalized, leading to the possibility that it might spread of falsified information if such posts are not detected. The WSDM 2017 Wiki Vandalism Detection Challenge requires us to solve this problem by computing a vandalism score denoting the likelihood that a revision corresponds to an act of vandalism and performance is measured using the ROC-AUC obtained on a held-out test set. This paper provides the details of our submission that obtained an ROC-AUC score of 0.91976 in the final evaluation.

研究动机与目标

• 为应对 Wikidata 中恶意编辑检测的挑战，该平台开放公众贡献，因此易受恶意篡改影响。
• 开发一种稳健的自动化系统，能够以高精度对修订内容的恶意篡改可能性进行评分。
• 参与 WSDM Cup 2017 Wiki 恶意篡改检测挑战赛，性能以保留测试集上的 ROC-AUC 为评估标准。
• 为大规模协作式知识库中的恶意篡改检测提供一种可扩展且可解释的方法。

提出的方法

• 系统提取语言学特征，如编辑长度、编辑类型（例如，添加、删除），以及旧内容与新内容之间的词汇相似度。
• 系统整合结构特征，包括修订中声明、限定符和引用的数量，以及实体类型和属性使用的变化。
• 使用时间特征，如编辑频率、上次编辑以来的时间间隔以及一天中的时间，以检测可疑的编辑模式。
• 基于工程化特征训练梯度提升决策树模型，为每项修订预测恶意篡改得分。
• 通过交叉验证和超参数调优优化模型，以在验证集上最大化 AUC 性能。
• 最终系统在保留的测试集上进行评估，以 ROC-AUC 为主要指标。

实验结果

研究问题

• RQ1 语言学、结构和时间特征在区分 Wikidata 中合法编辑与恶意编辑方面的有效性如何？
• RQ2 在真实世界的恶意篡改检测场景中，基于这些特征训练的机器学习模型能否实现高 AUC 性能？
• RQ3 哪种特征组合能在多样化的 Wikidata 编辑中实现最稳健且可泛化的检测性能？
• RQ4 在测试集中不同阈值和数据分布下，模型的性能表现如何？

主要发现

• Loganberry 系统在 WSDM Cup 2017 测试集上实现了 0.91976 的 ROC-AUC 得分，位列顶尖提交结果之中。
• 语言学特征（如编辑长度和词汇相似度）对恶意篡改具有高度预测性，尤其对短小、无意义的编辑尤为显著。
• 结构变化（如添加虚假声明或引用）显著提高了被标记为恶意篡改的可能性。
• 时间模式（如快速连续编辑或在非高峰时段编辑）是恶意行为的强指标。
• 梯度提升决策树模型在不同编辑类型和实体类别中均表现出良好的泛化能力和鲁棒性。
• 多模态特征的融合显著优于仅使用单一模态的模型。