[论文解读] Twitter Bot Detection Using Bidirectional Long Short-term Memory Neural Networks and Word Embeddings

Wei Feng, Uyen Trang Nguyen|arXiv (Cornell University)|Feb 3, 2020

Spam and Phishing Detection参考文献 54被引用 18

一句话总结

本文提出一种结合词嵌入的双向长短期记忆（BiLSTM）神经网络，仅通过推文内容检测Twitter机器人，无需依赖用户资料、好友关系网络或手工设计特征。该模型在cresci-2017数据集上达到最先进性能，通过从原始文本序列端到端学习，实现96.1%的准确率（accuracy）和96.3%的F1值（F-measure），有效区分人类账户与垃圾机器人账户。

ABSTRACT

Twitter is a web application playing dual roles of online social networking and micro-blogging. The popularity and open structure of Twitter have attracted a large number of automated programs, known as bots. Legitimate bots generate a large amount of benign contextual content, i.e., tweets delivering news and updating feeds, while malicious bots spread spam or malicious contents. To assist human users in identifying who they are interacting with, this paper focuses on the classification of human and spambot accounts on Twitter, by employing recurrent neural networks, specifically bidirectional Long Short-term Memory (BiLSTM), to efficiently capture features across tweets. To the best of our knowledge, our work is the first that develops a recurrent neural model with word embeddings to distinguish Twitter bots from human accounts, that requires no prior knowledge or assumption about users' profiles, friendship networks, or historical behavior on the target account. Moreover, our model does not require any handcrafted features. The preliminary simulation results are very encouraging. Experiments on the cresci-2017 dataset show that our approach can achieve competitive performance compared with existing state-of-the-art bot detection systems.

研究动机与目标

• 开发一种无需用户资料、好友关系网络或历史行为先验知识的机器人检测系统。
• 通过深度学习消除机器人检测中人工设计特征的繁琐工作。
• 评估循环神经网络结合词嵌入在将Twitter账户分类为人类或垃圾机器人方面的有效性。
• 实现实时应用中更快、更高效的机器人检测系统部署。

提出的方法

• 采用双向长短期记忆（BiLSTM）网络，捕捉推文序列中过去和未来词语的上下文依赖关系。
• 使用预训练词嵌入将原始文本推文编码为密集向量表示，替代传统自然语言处理特征工程。
• 仅在推文文本上端到端训练BiLSTM模型，不使用元数据或网络结构信息。
• 应用Dropout和Softmax层进行正则化及最终的人类/机器人类别分类。
• 使用Adam优化器和分类交叉熵损失函数，在cresci-2017数据集上实现高效训练。
• 通过学习到的模型进行推理，基于其序列语言模式对测试推文进行分类。

实验结果

研究问题

• RQ1 仅使用推文内容，结合词嵌入的BiLSTM模型能否有效区分人类与垃圾机器人账户？
• RQ2 无需特征工程的深度学习方法在Twitter机器人检测中的性能，与最先进方法相比如何？
• RQ3 上下文序列建模在多大程度上能捕捉机器人生成推文中的区分性语言模式？
• RQ4 缺乏用户资料、网络结构或行为特征是否显著影响检测准确率？

主要发现

• 所提出的BiLSTM模型在cresci-2017数据集测试集#1上达到96.1%的准确率和96.3%的F1值，优于多个现有方法。
• 在测试集#2上，模型达到92.9%的准确率和92.6%的F1值，表明在不同数据划分下具有强大的泛化能力。
• 在测试集#1上，模型实现94.0%的精确率（precision）和97.6%的召回率（recall），表明在识别垃圾机器人方面具有高度可靠性。
• 词云分析显示，机器人频繁使用夸张的推广性词汇如'awesome'和'fascinating'，且比人类账户包含更多外部链接。
• 尽管未进行特征工程，该模型在F1值和MCC（Matthews相关系数）上显著优于BotOrNot?和C. Yang et al.等监督基线方法。
• 结果证实，结合词嵌入的深度学习能够有效建模推文中的语言模式，实现无需辅助数据的高精度机器人检测。