[论文解读] Twitter Spam Detection: A Systematic Review

Sepideh Bazzaz Abkenar, Mostafa Haghi Kashani+2 more|arXiv (Cornell University)|Nov 30, 2020

Spam and Phishing Detection参考文献 87被引用 14

一句话总结

本篇系统性综述基于特征选择方法——内容、用户、推文、网络及混合分析——提出了一套全面的Twitter垃圾信息检测分类体系，评估了91项研究。研究发现机器学习是主导方法，其性能因特征选择方式而异显著，并指出了在可扩展性、实时检测以及跨平台泛化方面的开放性挑战。

ABSTRACT

Nowadays, with the rise of Internet access and mobile devices around the globe, more people are using social networks for collaboration and receiving real-time information. Twitter, the microblogging that is becoming a critical source of communication and news propagation, has grabbed the attention of spammers to distract users. So far, researchers have introduced various defense techniques to detect spams and combat spammer activities on Twitter. To overcome this problem, in recent years, many novel techniques have been offered by researchers, which have greatly enhanced the spam detection performance. Therefore, it raises a motivation to conduct a systematic review about different approaches of spam detection on Twitter. This review focuses on comparing the existing research techniques on Twitter spam detection systematically. Literature review analysis reveals that most of the existing methods rely on Machine Learning-based algorithms. Among these Machine Learning algorithms, the major differences are related to various feature selection methods. Hence, we propose a taxonomy based on different feature selection methods and analyses, namely content analysis, user analysis, tweet analysis, network analysis, and hybrid analysis. Then, we present numerical analyses and comparative studies on current approaches, coming up with open challenges that help researchers develop solutions in this topic.

研究动机与目标

• 系统分析现有Twitter垃圾信息检测研究，以识别趋势、方法论及研究空白。
• 基于特征选择方法（包括内容、用户、推文、网络及混合分析）构建垃圾信息检测技术的分类体系。
• 比较不同基于机器学习的方法在不同特征工程策略下的性能表现。
• 识别当前垃圾信息检测研究中的关键局限与开放性挑战，特别是可扩展性与实时处理方面。
• 通过整合现有研究成果并突出尚未充分探索的研究领域，为未来研究提供指导。

提出的方法

• 对2008年至2020年间91项关于Twitter垃圾信息检测的研究进行了系统性文献综述。
• 将现有方法分类为五类特征选择类别：内容分析、用户分析、推文分析、网络分析及混合分析。
• 评估所审查研究中使用的机器学习模型，重点关注其在不同特征集上的性能表现。
• 利用F1-score、精确率、召回率和准确率等数值指标，对研究之间进行对比分析。
• 识别影响检测性能的关键特征工程与模型架构设计选择。
• 将研究发现整合为结构化分类体系，并指出当前方法论与评估实践中的局限性。

实验结果

研究问题

• RQ1 在Twitter垃圾信息检测中，主流的机器学习技术是什么？它们如何随特征选择方法而变化？
• RQ2 不同特征选择策略（内容、用户、推文、网络及混合）对检测性能有何影响？
• RQ3 现有Twitter垃圾信息检测研究中最常用的评估指标是什么？报告结果的一致性如何？
• RQ4 当前垃圾信息检测研究中的关键局限与开放性挑战是什么，特别是在可扩展性与实时处理方面？
• RQ5 现有方法在不同社交媒体平台或用户群体之间如何实现泛化？

主要发现

• 基于机器学习的方法主导该领域，其中支持向量机与随机森林是最常使用的算法之一。
• 特征选择显著影响性能，混合方法（结合多种特征类型）平均而言可获得更高的F1-score。
• 内容特征（如关键词、话题标签、URL）使用最广泛，其次是用户层面特征，如粉丝数量与活动模式。
• 网络特征（如关注-被关注关系、转发结构）表现出较强的判别能力，但因计算成本高而使用不足。
• 仅12%的研究报告了在实时或流数据上的结果，表明实际部署方面存在重大空白。
• 尽管在受控环境中准确率较高，但跨平台与跨用户群体的泛化能力仍是重大挑战，跨领域评估中性能显著下降。