[论文解读] TrollSpot: Detecting misbehavior in commenting platforms

Tai Ching Li, Joobin Gharibshah+2 more|arXiv (Cornell University)|Jun 6, 2018

Spam and Phishing Detection参考文献 15被引用 7

一句话总结

TrollSpot 提出了一种两阶段、可解释的分类框架，通过 73 项多维特征检测并细粒度分类评论平台上的恶意用户（如垃圾信息发送者、网络喷子、狂热分子）。在 700 万条 Disqus 评论数据上进行评估，该方法在恶意行为检测中达到 0.904 AUC，在角色分类中整体准确率达 80.8%，潜在行为分析揭示了与不当行为相关的昼夜时间模式和语言特征。

ABSTRACT

Commenting platforms, such as Disqus, have emerged as a major online communication platform with millions of users and posts. Their popularity has also attracted parasitic and malicious behav- iors, such as trolling and spamming. There has been relatively little research on modeling and safeguarding these platforms. As our key contribution, we develop a systematic approach to detect malicious users on commenting platforms focusing on having: (a) interpretable, and (b) fine-grained classification of malice. Our work has two key novelties: (a) we propose two classifications methods, with one following a two stage approach, which first maps observ- able features to behaviors and then maps these behaviors to user roles, and (b) we use a comprehensive set of 73 features that span four dimensions of information. We use 7 million comments during a 9 month period, and we show that our classification methods can distinguish between benign, and malicious roles (spammers, trollers, and fanatics) with a 0.904 AUC. Our work is a solid step to- wards ensuring that commenting platforms are a safe and pleasant medium for the exchange of ideas.

研究动机与目标

• 开发一种系统化、可解释的方法，用于检测和分类评论平台上的恶意行为。
• 超越二元分类，实现对恶意用户角色（如垃圾信息发送者、喷子、狂热分子）的细粒度识别。
• 使用涵盖社交、参与度、时间与语言维度的 73 项综合特征，对用户行为进行建模。
• 通过以行为为中心、可解释的分类方法，为平台管理员提供可操作的洞察。
• 在来自 Disqus 的大规模真实世界数据集上评估模型，覆盖 9 个月内的 700 万条评论。

提出的方法

• 采用两阶段分类方法：首先通过无监督学习将可观测特征映射到行为，然后通过有监督学习将行为映射到用户角色。
• 使用涵盖四个维度的 73 项特征：社交互动（用户-用户）、参与度（用户-文章）、时间（时间与活动模式）以及语言（如大写字母使用和长度等文本特征）。
• 采用随机森林与共聚类技术进行角色分类，通过基于行为的特征映射保持可解释性。
• 通过用户行为模式的聚类发现潜在行为，揭示与不当行为相关的昼夜时间与文本特征。
• 基于平台审核日志，将用户标注为四种类别：良性用户、垃圾信息发送者、喷子和狂热分子。
• 在来自 Disqus 的真实世界数据集上使用 AUC 和准确率指标进行评估，并对行为模式进行统计验证。

实验结果

研究问题

• RQ1 基于行为的分类系统能否有效区分评论平台上的良性用户与恶意用户？
• RQ2 所提出的两阶段方法是否在可解释性和恶意用户角色分类准确性方面优于基线方法？
• RQ3 哪些特定的行为模式——时间、语言或社交模式——可将行为不当的用户与良性用户区分开来？
• RQ4 用户活动模式与文本特征如何与他们的恶意角色（如垃圾信息发送者、喷子）相关联？
• RQ5 恶意用户在跨网站行为方面表现出何种程度的共性？其活动时间与不当行为之间有何关联？

主要发现

• 该模型在检测恶意用户方面达到 0.904 AUC，显著优于基线方法。
• 细粒度角色分类在四种类别（良性、垃圾信息发送者、喷子、狂热分子）中整体准确率达 80.8%。
• 87.9% 表现出潜在行为 1 的用户——其特征为大量使用大写字母、评论较长，且活动高峰在 UTC 7–13 时——为行为不当用户。
• 在 UTC 13–26 时活跃的用户（潜在行为 3）其协作度与评论量比平均水平高 60%，其中 20.7% 为行为不当用户。
• 随着活动时间推移，行为不当用户的占比上升：UTC 13–26 时为 20.7%，UTC 3–8 时为 31.3%，UTC 6–14 时为 56%，表明恶意行为与昼夜时间存在显著关联。
• 仅 15% 的行为不当用户表现出跨网站行为，表明大多数恶意活动具有平台特异性。