[论文解读] Wikipedia Vandal Early Detection: from User Behavior to User Embedding

Shuhan Yuan, Panpan Zheng+2 more|arXiv (Cornell University)|Jun 3, 2017

Wikis in Education and Collaboration参考文献 28被引用 7

一句话总结

本文提出一种多源长短期记忆网络（M-LSTM），通过自动学习维基百科编辑序列中的用户嵌入，捕捉行为模式，实现在无需手工特征的情况下对破坏者进行早期检测。该模型达到最先进性能，阈值τ=0.8时F1值达92.44%，早期检测率最高达93.34%，支持动态、实时的破坏者预测及协作型破坏者群体识别。

ABSTRACT

Wikipedia is the largest online encyclopedia that allows anyone to edit articles. In this paper, we propose the use of deep learning to detect vandals based on their edit history. In particular, we develop a multi-source long-short term memory network (M-LSTM) to model user behaviors by using a variety of user edit aspects as inputs, including the history of edit reversion information, edit page titles and categories. With M-LSTM, we can encode each user into a low dimensional real vector, called user embedding. Meanwhile, as a sequential model, M-LSTM updates the user embedding each time after the user commits a new edit. Thus, we can predict whether a user is benign or vandal dynamically based on the up-to-date user embedding. Furthermore, those user embeddings are crucial to discover collaborative vandals.

研究动机与目标

• 为解决早期且动态检测维基百科破坏者（尤其是从事细微或协作式破坏行为者）的挑战。
• 通过从编辑序列中自动学习用户行为表征，消除对手工设计特征的依赖。
• 将多种编辑属性（如页面标题、分类、回退历史）统一建模为低维用户嵌入空间。
• 通过每次编辑后动态更新用户嵌入，实现实时检测，支持在实时监控系统中部署。
• 通过用户嵌入相似性分析，揭示隐藏的协作型破坏者模式。

提出的方法

• M-LSTM模型并行处理多个编辑属性序列（如页面标题、分类、回退状态），使用独立的LSTM学习各属性的特定表征。
• 每个LSTM将用户编辑序列编码为固定长度的隐藏状态，表征特定编辑属性的时间动态。
• 应用注意力机制将多个属性表征融合为单一、全面的用户嵌入。
• 在每次新编辑后动态更新用户嵌入，实现实时分类用户行为为良性或破坏行为。
• 采用基于阈值的分类器，利用嵌入得分预测破坏行为，通过超参数调优实现精确率-召回率权衡。
• 模型在维基百科编辑日志上端到端训练，直接从原始编辑属性学习表征，无需特征工程。

实验结果

研究问题

• RQ1 深度学习模型能否在不依赖手工特征的情况下，从维基百科编辑序列中自动学习用户行为表征？
• RQ2 与传统方法相比，所提出的M-LSTM模型在仅使用部分编辑历史时，能否更早地检测出破坏者？
• RQ3 用户嵌入能否有效揭示具有多样化编辑模式的协作型破坏者群体？
• RQ4 在使用动态用户嵌入进行早期破坏者检测时，精确率与召回率之间是否存在最优平衡？
• RQ5 不同编辑属性（如标题、分类）在区分良性用户与破坏者方面有何贡献？

主要发现

• M-LSTM模型在阈值τ=0.8时达到92.44%的F1值，为当前最先进性能，优于依赖手工特征的现有方法。
• 模型实现早期检测，τ=0.8时召回率达98.76%，精确率达86.88%，在管理员封禁前检测到93.34%的破坏者。
• 在不同阈值下，检测前的平均编辑数稳定在约3.6次，表明具备一致的早期检测能力。
• 用户嵌入能成功识别协作型破坏者群体，表现为具有协调性、非随机编辑模式的用户在嵌入空间中具有高度相似性。
• 引入页面分类信息显著提升模型性能，例如在破坏者编辑语义相关但不相关的页面时表现突出。
• 在τ=0.9时F1值达93.93%，但早期检测率急剧下降至72.32%，表明置信度与覆盖范围之间存在权衡。