[论文解读] Social Turing Tests: Crowdsourcing Sybil Detection

Gang Wang, Manish Mohanlal+5 more|arXiv (Cornell University)|May 17, 2012

Spam and Phishing Detection参考文献 26被引用 168

一句话总结

本文提出了一种基于众包的在线社交网络Sybil检测系统，利用人类判断识别虚假账户，通过专家和众包工作者评估用户资料。结果表明，专家可实现近乎完美的检测准确率，而众包工作者则保持极低的误报率，从而构建出一种可扩展的两级系统，其在逃避基于图分析检测的现实Sybil账户检测中优于自动化方法。

ABSTRACT

As popular tools for spreading spam and malware, Sybils (or fake accounts) pose a serious threat to online communities such as Online Social Networks (OSNs). Today, sophisticated attackers are creating realistic Sybils that effectively befriend legitimate users, rendering most automated Sybil detection techniques ineffective. In this paper, we explore the feasibility of a crowdsourced Sybil detection system for OSNs. We conduct a large user study on the ability of humans to detect today's Sybil accounts, using a large corpus of ground-truth Sybil accounts from the Facebook and Renren networks. We analyze detection accuracy by both "experts" and "turkers" under a variety of conditions, and find that while turkers vary significantly in their effectiveness, experts consistently produce near-optimal results. We use these results to drive the design of a multi-tier crowdsourcing Sybil detection system. Using our user study data, we show that this system is scalable, and can be highly effective either as a standalone system or as a complementary technique to current tools.

研究动机与目标

• 应对日益严峻的复杂Sybil账户威胁，这些账户通过利用社交图谱和资料分析规避传统自动化检测方法。
• 探究通过众包方式获取人类判断是否能有效检测出绕过自动化工具的现实Sybil账户。
• 通过分析不同用户群体和条件下的检测准确率，设计一种可扩展且成本效益高的众包检测系统。
• 评估在现实OSN中部署此类系统的可行性，需考虑隐私保护、疲劳效应以及对抗性反制措施。

提出的方法

• 开展了一项大规模用户研究，包含三组参与者：专家、来自美国、中国和印度的众包工作者（Turkers），以及加州大学圣塔芭芭拉分校的本科生。
• 使用从Facebook（美国和印度）及人人网（中国）收集的真实Sybil账户作为真实标签数据，这些账户在平台安全团队清理前已被采集。
• 在不同条件下评估检测准确率，包括调查疲劳、用户体验以及语言和文化差异的影响。
• 提出一种分层两级众包架构：专家负责校准过滤器并识别高准确率的工作者，而众包工作者则执行大规模检查。
• 实现了一种隐私保护机制，使Turkers仅能查看举报者所见的用户资料，从而限制对私密数据的暴露。
• 通过追踪驱动的仿真评估系统的可扩展性、成本和准确率，结果表明该系统在保持极低误报率的同时实现了高检测率。

实验结果

研究问题

• RQ1 人类，尤其是专家和有动机的非专家，是否能够可靠地检测出逃避自动化检测的现代、真实Sybil账户？
• RQ2 用户体验、疲劳、语言和文化背景等因素如何影响人类在Sybil识别中的检测准确率？
• RQ3 在对数百万个资料进行大规模检测时，众包工作者在多大程度上可被信任以维持极低的误报率？
• RQ4 如何设计众包Sybil检测系统，以确保准确性、可扩展性，并抵御对抗性污染攻击？
• RQ5 可采用哪些隐私保护机制，仅向Turkers暴露相关资料信息，而不泄露用户数据？

主要发现

• 专家和高度积极的本科生实现了接近最优的检测准确率，且误报率接近零，表明人类在识别Sybil资料中细微不一致方面具有强大的直觉能力。
• 众包工作者（Turkers）的检测率虽低于专家，但保持了接近零的误报率，表明其在避免将合法用户误判为虚假账户方面具有极强的可靠性。
• 由于疲劳效应，众包工作者的检测准确率随时间下降，而专家则保持稳定表现，凸显了分层工人管理机制的必要性。
• 一小部分持续高准确率的测试者被识别出来，表明可在众包流程中识别并优先使用高准确率的工作者。
• 研究发现极少有‘变色龙型’资料能逃避所有群体的检测，表明大多数Sybil账户在人类仔细审查下仍会暴露出可检测的异常特征。
• 仿真结果表明，两级系统（专家校准过滤器，众包工作者执行批量检查）在合理成本下实现了高准确率与可扩展性，优于纯自动化方法在真实Sybil检测中的表现。