[论文解读] Wikipedia Vandalism Detection Through Machine Learning: Feature Review and New Proposals: Lab Report for PAN at CLEF 2010

Santiago M. Mola-Velasco|arXiv (Cornell University)|Oct 19, 2012

Wikis in Education and Collaboration参考文献 8被引用 24

一句话总结

本文提出了一种基于机器学习的 Wikipedia 恶意破坏检测方法，利用全面的语言学与结构特征。该方法在先前工作的基础上引入了新的特征，如字符多样性及改进的词表度量指标，并采用随机森林分类器实现了最先进性能，在 PAN 2010 竞赛中 AUC 达到 0.92236，任务排名第一。

ABSTRACT

Wikipedia is an online encyclopedia that anyone can edit. In this open model, some people edits with the intent of harming the integrity of Wikipedia. This is known as vandalism. We extend the framework presented in (Potthast, Stein, and Gerling, 2008) for Wikipedia vandalism detection. In this approach, several vandalism indicating features are extracted from edits in a vandalism corpus and are fed to a supervised learning algorithm. The best performing classifiers were LogitBoost and Random Forest. Our classifier, a Random Forest, obtained an AUC of 0.92236, ranking in the first place of the PAN'10 Wikipedia vandalism detection task.

研究动机与目标

• 通过监督式机器学习提升 Wikipedia 恶意破坏的自动检测能力。
• 在先前工作（Potthast et al., 2008）提出的特征集基础上，引入新特征与优化特征。
• 评估并比较多种监督式学习分类器在恶意破坏检测中的表现。
• 在 PAN 2010 Wikipedia 恶意破坏分类任务中实现高性能。
• 为下一代反恶意破坏机器人提供基础，其 F-Measure 与 AUC 均优于现有基于规则的系统。

提出的方法

• 系统提取广泛的编辑级特征，包括词汇、句法及统计属性，如大写与小写字母比例、数字比例及字符多样性。
• 采用预处理流程，通过 google-diff-match-patch 进行分词与差异计算，生成旧文本与新文本、插入词语及插入行的表示。
• 从词表（如粗俗用语、偏见性术语、与性相关词汇）中提取特征，包含基于其在编辑中出现频率的频率与影响得分。
• 最终分类器为包含 1000 棵树的随机森林，每棵树随机选择 5 个特征进行分裂，分裂时使用的特征数量为 log2(M)+1。
• 在 PAN-WVC-10 语料库上通过 10 折交叉验证进行评估，指标包括 AUC、F-Measure、精确率与召回率。
• 通过调整类别权重对模型进行调优，使恶意破坏编辑的误分类惩罚力度为普通编辑的十倍，以缓解类别不平衡问题。

实验结果

研究问题

• RQ1 基于多样化语言学与结构特征训练的机器学习分类器，是否能优于现有的基于规则的恶意破坏检测系统？
• RQ2 哪些特征——尤其是基于词表的特征——最能有效区分恶意破坏与合法编辑？
• RQ3 在恶意破坏检测任务中，不同集成分类器（如随机森林与 LogitBoost）在稳定性、精确率、召回率与 AUC 表现上如何比较？
• RQ4 特征工程（包括可压缩性与字符分布度量）在多大程度上能提升检测性能？
• RQ5 基于学习的方法能否在精确率与召回率之间实现比当前机器人更优的平衡？当前机器人通常具有高精确率但低召回率。

主要发现

• 最终的随机森林分类器（1000 棵树，每节点选择 5 个特征）在 PAN-WVC-10 测试集上达到 AUC 0.92236，竞赛排名第一。
• 随机森林在稳定性和 AUC 表现上优于 LogitBoost，AUC 在 1000 次迭代时提升至 0.963，而 LogitBoost 在高迭代次数时表现出过拟合迹象。
• ‘All frequency’（预定义词表中词语的频率）作为单一特征，实现了最高的精确率（0.762），但召回率较低（0.353）。
• ‘Anonymous’ 特征在单一特征中 AUC 最高（0.78），表明其具有强大的恶意破坏识别能力。
• ‘Goodword frequency’ 特征的精确率与召回率均为零，表明其在区分恶意破坏方面无效。
• 在训练集上，系统实现精确率 0.861 与召回率 0.568，F-Measure 达到 0.684，显著优于当前基于规则的机器人在 F-Measure 表现。