[论文解读] On-the-fly Detection of Autogenerated Tweets

Jonas Lundberg, Jonas Nordqvist+1 more|arXiv (Cornell University)|Feb 4, 2018

Spam and Phishing Detection参考文献 23被引用 3

一句话总结

本文提出一种双分类器系统，用于在实时Twitter流中即时检测自动生成的推文（AGTs），使用推文文本和元数据（无资料分类器）或结合用户时间线数据（资料分类器）。该方法在AGT检测中实现了98%的准确率，且资料分类器相比更简单的无资料分类器仅带来微小性能提升，表明在某些情况下可避免下载用户时间线以降低延迟。

ABSTRACT

Most previous work related to tweet classification have focused on identifying a given tweet as a spam, or to classify a Twitter user account as a spammer or a bot. In most cases the tweet classification has taken place offline, on a pre-collected dataset of tweets. In this paper we present an \emph{on-the-fly} approach to classify each newly downloaded tweet as \emph{autogenerated} or not. We define an autogenerated tweet (AGT) as a tweet where all or parts of the natural language content is generated automatically by a bot or other type of program. Our on-the-fly approach makes use of two classifiers. The first classifies a tweet solely based on the twitter text and the tweet metadata that comes with every tweet. It is used for tweets posted by unknown users with no available tweet history. An unknown user also triggers a batch job to start downloading the missing user timeline information. The second classifier is used for tweets posted by a user where the user timeline is downloaded and available. Initially, it will be the first classifier that handles most of the tweets. This will gradually change and after an initialization phase where we download historic data for the most active users, we reach a state where the second classifier handles a vast majority of all the tweets. A simulation using our on-the-fly detection mechanism indicates that we can handle Twitter streams with up to 68,000 unique users each day. The bottleneck is the time required to download new user timelines. The AGT detection is very accurate. In a set of 5,000 tweets we correctly classified about 98\% of all AGTs using a subject-wise cross-validation.

研究动机与目标

• 开发一种实时、即时检测系统，用于识别Twitter流中由机器人或自动化程序生成的推文（自动生成推文，AGTs）。
• 解决在需要历史用户数据（如用户时间线）但无法在实时中快速获取时，AGT分类的挑战。
• 评估仅使用推文元数据和文本的轻量级分类器是否能与包含已下载用户时间线数据的更复杂分类器性能相当。
• 模拟系统可扩展性，并识别在处理高吞吐量Twitter流时的性能瓶颈。

提出的方法

• 提出一种双分类器架构：'无资料分类器'仅使用实时推文文本和元数据对新用户进行分类；'资料分类器'则对已知用户使用下载的用户时间线数据进行分类。
• 无资料分类器依赖于文本特征（如信息熵、重复度、URL密度）和元数据（如设备类型、转发比例）来检测AGTs。
• 资料分类器通过卡方检验计算推文周期性，并在用户时间线上计算时间熵，以增强检测能力。
• 使用59天的NTS数据进行模拟，估算系统性能，包括吞吐量和分类器工作负载分布。
• 在包含10,000条推文（其中2,251条为AGTs）的人工标注数据集上，训练并评估三种机器学习模型（SVM、随机森林、朴素贝叶斯）。
• 采用按用户划分的交叉验证方法，评估模型在不同用户和推文来源间的泛化能力。

实验结果

研究问题

• RQ1 仅使用推文文本和元数据的轻量级实时分类器能否在无需访问用户时间线的情况下检测AGTs？
• RQ2 与仅基于元数据的分类相比，引入用户时间线数据是否能显著提升AGT检测准确率？
• RQ3 该即时检测系统在每日唯一用户数方面可处理的最大Twitter流规模是多少？
• RQ4 当在10,000条人工标注推文数据集上训练时，不同机器学习模型在AGT分类中的表现如何？
• RQ5 分类器的主要失效模式是什么？是否可通过模型优化或特征加权加以缓解？

主要发现

• 无资料分类器在AGT检测中达到97.9%的准确率，仅比更复杂的资料分类器多误判24例。
• 资料分类器达到98.0%的准确率，但相较于无资料分类器的边际提升表明，在此数据集中用户时间线下载可能并非AGT检测的必要条件。
• 仅文本分类器便达到96.3%的AGT检测准确率，表明仅依靠文本和结构特征即可实现优异性能。
• 系统可处理每日最多68,000名唯一用户的Twitter流，用户时间线下载时间是主要性能瓶颈。
• 误判的推文通常由人类用户使用罕见应用程序生成，尽管文本分类器给出的AGT概率得分较低，但其他指标仍显示其具有自动化特征。
• 研究表明，通过持续学习和微调文本分类器的影响，可提升其对不断演变的AGT生成方式的鲁棒性。