[论文解读] Online User Profiling to Detect Social Bots on Twitter

Maryam Heidari, James H. Jones+1 more|arXiv (Cornell University)|Mar 9, 2022

Misinformation and Its ImpactsSocial Sciences被引用 18

一句话总结

本文提出了一种新颖的机器学习方法，通过从用户的文本帖子构建在线用户档案，提取年龄、性别、教育程度和人格等个人属性，以检测Twitter上的社交机器人。通过利用跨帖子个人资讯的相似性作为信号，该模型在区分机器人与人类方面实现了高准确率，并发布了基于Cresci 2017数据集的新公共数据集，包含超过6,900个Twitter账户的档案标注。

ABSTRACT

Social media platforms can expose influential trends in many aspects of everyday life. However, the movements they represent can be contaminated by disinformation. Social bots are one of the significant sources of disinformation in social media. Social bots can pose serious cyber threats to society and public opinion. This research aims to develop machine learning models to detect bots based on the extracted user's profile from a Tweet's text. Online users' profile shows the user's personal information, such as age, gender, education, and personality. In this work, the user's profile is constructed based on the user's online posts. This work's main contribution is three-fold: First, we aim to improve bot detection through machine learning models based on the user's personal information generated by the user's online comments. When comparing two online posts, the similarity of personal information makes it difficult to differentiate a bot from a human user. However, this research turns personal information similarity among two online posts into an advantage for the new bot detection model. The new proposed model for bot detection creates user profiles based on personal information such as age, personality, gender, education from users' online posts and introduces a machine learning model to detect social bots with high prediction accuracy based on personal information. Second, create a new public data set that shows the user's profile for more than 6900 Twitter accounts in the Cresci 2017 data set.

研究动机与目标

• 通过基于从在线帖子中提取的个人信息来建模用户档案，以改进社交机器人检测。
• 解决当个人资讯在账户间高度相似时，难以区分机器人与人类的挑战。
• 创建一个新公共数据集，对Cresci 2017基准中超过6,900个Twitter账户的用户档案进行标注。
• 开发一种利用档案相似性作为判别信号的机器学习模型，以实现机器人检测。
• 展示基于档案的特征在提升机器人检测准确率方面的有效性。

提出的方法

• 通过自然语言处理技术从用户的Twitter帖子中提取个人属性（如年龄、性别、教育程度和人格）来构建用户档案。
• 该模型将多个帖子间个人资讯的相似性视为识别机器人行为的信号，假设机器人通常会复制或模仿这些属性。
• 使用监督式机器学习分类器对档案特征进行训练，以区分人类与机器人账户。
• 该方法以Cresci 2017数据集为基础，通过在文本内容上运行NLP流水线生成档案标注。
• 该方法结合语言学特征与人口统计学特征，以结构化且可学习的方式表示用户档案。
• 发布了一个新公共数据集，包含6,900个Twitter账户的档案标注，支持可复现性与基准测试。

实验结果

研究问题

• RQ1 从用户帖子中提取的个人资讯能否提升社交机器人检测的准确率？
• RQ2 多个帖子间个人属性的相似性如何作为区分机器人与人类的判别信号？
• RQ3 与传统方法相比，基于档案的特征在多大程度上能提升机器人检测性能？
• RQ4 从非结构化Twitter文本中构建用户档案的可行性与可靠性如何？
• RQ5 所提出的模型与现有基于档案级特征的机器人检测方法相比表现如何？

主要发现

• 所提出的模型通过利用从在线帖子中提取的用户档案特征，在检测社交机器人方面实现了高预测准确率。
• 研究显示，帖子间的档案相似性是识别机器人账户的强指标，尤其在结合人口统计学与人格特质时更为显著。
• 本研究发布了一个包含超过6,900个Twitter账户的公共数据集，并附有用户档案标注，显著提升了可复现性与未来研究的可行性。
• 将年龄、性别、教育程度和人格等个人属性整合到模型中，显著提升了检测性能。
• 该方法通过将档案一致性视为判别特征而非噪声，优于基线方法。
• 结果表明，即使机器人模仿了人类的个人资讯，其档案相似性中的细微不一致或特定模式仍可被用于检测。