[论文解读] SybilBlind: Detecting Fake Users in Online Social Networks without Manual Labels

Binghui Wang, Le Zhang+1 more|arXiv (Cornell University)|Jun 13, 2018

Spam and Phishing Detection参考文献 2被引用 8

一句话总结

SybilBlind 是一种新颖的、基于结构的 Sybil 检测框架，可在无需手动标注训练数据的情况下检测在线社交网络中的虚假用户。它通过多次带有噪声标签的随机采样试验，并结合同质性-熵聚合器识别低噪声试验，实现在真实 Twitter 数据集上 AUC 达 0.98，优于需要人工标注的方法，且仅需标注 2.8% 的节点即可达到其性能水平。

ABSTRACT

Detecting fake users (also called Sybils) in online social networks is a basic security research problem. State-of-the-art approaches rely on a large amount of manually labeled users as a training set. These approaches suffer from three key limitations: 1) it is time-consuming and costly to manually label a large training set, 2) they cannot detect new Sybils in a timely fashion, and 3) they are vulnerable to Sybil attacks that leverage information of the training set. In this work, we propose SybilBlind, a structure-based Sybil detection framework that does not rely on a manually labeled training set. SybilBlind works under the same threat model as state-of-the-art structure-based methods. We demonstrate the effectiveness of SybilBlind using 1) a social network with synthetic Sybils and 2) two Twitter datasets with real Sybils. For instance, SybilBlind achieves an AUC of 0.98 on a Twitter dataset.

研究动机与目标

• 解决现有最先进 Sybil 检测方法依赖于昂贵、耗时且侵犯隐私的人工标注训练数据所带来的局限性。
• 开发一种无需访问任何人工标注用户即可检测 Sybil 的框架，同时对对抗性训练集推断保持鲁棒性。
• 实现实时检测在现有攻击被缓解后新出现的 Sybil 攻击。
• 设计一种鲁棒的聚合机制，即使在训练集中存在标签噪声，也能识别高质量的采样试验。

提出的方法

• 从社交网络中随机采样一部分用户，并为其分配随机标签（良性或 Sybil），从而在不进行实际人工标注的情况下创建一个带有噪声的训练集。
• 在每个采样得到的带有噪声的训练集上使用最先进的 Sybil 检测方法（如 SybilSCAR），为该次试验中的每个用户生成一个 Sybil 概率得分。
• 设计一种新颖的聚合器，利用两个指标——同质性和单侧熵——识别标签噪声较低、Sybil 检测准确度较高的采样试验。
• 仅将由同质性-熵指标识别出的高质量试验中的 Sybil 概率进行聚合，以生成每个用户的最终可靠检测得分。
• 在多个独立试验中重复采样和检测过程，以提高鲁棒性和准确性。
• 将该框架应用于真实世界数据集，包括包含真实 Sybil 的 Twitter 数据集以及合成网络，以验证性能。

实验结果

研究问题

• RQ1 是否可以在不使用任何人工标注训练数据的情况下实现 Sybil 检测，同时保持高准确率？
• RQ2 当训练标签为随机分配且本质上具有噪声时，如何构建一个可靠的检测模型？
• RQ3 在缺乏真实标签的情况下，何种聚合策略能有效识别出标签噪声较低的高质量采样试验？
• RQ4 SybilBlind 与需要人工标注的监督方法相比，其性能如何，特别是在标注成本和检测速度方面？
• RQ5 Sybil 比例和网络结构的变化对所提出框架检测准确率有何影响？

主要发现

• 在包含 8,000 个用户和 68,000 条边的真实 Twitter 数据集上，SybilBlind 实现了 AUC 0.98，证明了其在无需人工标注的情况下仍具有高检测准确率。
• 在包含 4200 万个用户和 12 亿条边的大规模 Twitter 数据集上，SybilBlind 仍保持强劲性能，证实了其可扩展性。
• 同质性-熵聚合器显著优于平均、最小值和最大值聚合器，而平均聚合器的性能接近随机猜测。
• 当 Sybil 比例低于 50% 时，SybilBlind 能够准确检测 Sybil，这在大多数真实场景中成立，因为 Sybil 通常少于良性用户。
• SybilSCAR 在小型 Twitter 数据集中需标注约 25% 的节点，在大型 Twitter 数据集中需标注 2.8% 的节点，才能达到 SybilBlind 的 AUC 水平，凸显了本方法在成本上的优势。
• 随着采样规模和试验次数的增加，框架性能趋于稳定，AUC 先上升后趋于平缓，表明其在足够采样量和试验数下具有良好的收敛性。