[论文解读] The Dark Side of Micro-Task Marketplaces: Characterizing Fiverr and Automatically Detecting Crowdturfing

Kyumin Lee, Steve Webb+1 more|arXiv (Cornell University)|Jun 3, 2014

Mobile Crowdsensing and Crowdsourcing参考文献 13被引用 12

一句话总结

本文分析了 Fiverr 作为一个微任务市场，可被用于群控炒作（crowdturfing），开发了一种机器学习分类器，以 97.35% 的准确率检测恶意任务，并通过实证证明了其真实世界影响：购买的 Fiverr 服务生成了数千个虚假的 Twitter 关注者，而 Twitter 的安全系统未能在大规模范围内检测到这些行为。

ABSTRACT

As human computation on crowdsourcing systems has become popular and powerful for performing tasks, malicious users have started misusing these systems by posting malicious tasks, propagating manipulated contents, and targeting popular web services such as online social networks and search engines. Recently, these malicious users moved to Fiverr, a fast-growing micro-task marketplace, where workers can post crowdturfing tasks (i.e., astroturfing campaigns run by crowd workers) and malicious customers can purchase those tasks for only $5. In this paper, we present a comprehensive analysis of Fiverr. First, we identify the most popular types of crowdturfing tasks found in this marketplace and conduct case studies for these crowdturfing tasks. Then, we build crowdturfing task detection classifiers to filter these tasks and prevent them from becoming active in the marketplace. Our experimental results show that the proposed classification approach effectively detects crowdturfing tasks, achieving 97.35% accuracy. Finally, we analyze the real world impact of crowdturfing tasks by purchasing active Fiverr tasks and quantifying their impact on a target site. As part of this analysis, we show that current security systems inadequately detect crowdsourced manipulation, which confirms the necessity of our proposed crowdturfing task detection approach.

研究动机与目标

• 调查 Fiverr 上群控炒作任务的普遍性及其特征，Fiverr 是一个快速增长的微任务市场。
• 识别可利用的恶意任务类型，包括针对社交媒体、搜索引擎和用户流量的任务。
• 开发一种自动化检测系统，用于识别群控炒作任务，以防止操纵内容的传播。
• 评估这些任务对 Twitter 等平台的真实世界影响，并评估现有安全措施的有效性。

提出的方法

• 收集并分析了涵盖所有类别的 46,176 个活跃 Fiverr 服务，以刻画卖家和买家的行为特征。
• 对服务特征（如标题、描述、定价、类别）进行统计分析，以区分合法任务与群控炒作任务。
• 利用人工标注的训练数据构建监督式机器学习分类器，基于语言和结构模式检测群控炒作服务。
• 使用关键词使用率、任务复杂度和卖家声誉指标等特征训练并评估分类器。
• 购买了针对 Twitter 的活跃群控炒作服务，以模拟真实世界中的操纵行为并测量其影响。
• 通过监控通过 Fiverr 服务创建的虚假关注者的检测率，评估 Twitter 现有安全系统的表现。

实验结果

研究问题

• RQ1 在 Fiverr 上，哪些类型的群控炒作任务最为普遍？其显著特征是什么？
• RQ2 基于服务元数据和内容，机器学习分类器在自动检测群控炒作任务方面的有效性如何？
• RQ3 群控炒作任务对 Twitter 等社交媒体平台的真实世界影响是什么？
• RQ4 当前目标平台的安全系统在多大程度上能够检测到群控式操纵行为？

主要发现

• 所提出的群控炒作检测分类器在区分恶意与合法服务方面达到了 97.35% 的准确率。
• 在检测到的 19,904 个群控炒作服务中，70.7% 为社交媒体目标服务，27.3% 为搜索引擎目标服务，2% 为用户流量目标服务。
• 购买的 Fiverr 服务成功在 Twitter 上生成了数以万计的虚假关注者，显著提升了测试账户的影响力。
• 两个月后，Twitter 的安全系统仅检测到通过 Fiverr 服务创建的 24.6% 的虚假关注者，表明其检测能力较差。
• 本研究证实，当前的安全系统对群控式操纵的检测能力不足，凸显了在任务市场层面实施主动检测的必要性。
• 案例研究揭示了社交媒体、搜索引擎和流量操纵服务在行为和语言模式上的显著差异，从而支持了有效分类。