[论文解读] Simplistic Collection and Labeling Practices Limit the Utility of Benchmark Datasets for Twitter Bot Detection

C. P. Hays, Zachary Schutzman+3 more|arXiv (Cornell University)|Jan 17, 2023

Spam and Phishing Detection被引用 5

一句话总结

本文表明，现有 Twitter 基准数据集上表现优异的机器人检测模型之所以达到近乎完美的准确率，其原因并非复杂的特征工程或模型复杂度，而是由于简单的数据收集和标注方式在训练数据中嵌入了数据集特有的特征。仅基于少数特征（如发推频率、点赞行为或语言）训练的浅层决策树即可实现最先进性能，揭示了这些模型在不同数据集之间泛化能力差，反而学习的是采样偏差而非真正的机器人特征。

ABSTRACT

Accurate bot detection is necessary for the safety and integrity of online platforms. It is also crucial for research on the influence of bots in elections, the spread of misinformation, and financial market manipulation. Platforms deploy infrastructure to flag or remove automated accounts, but their tools and data are not publicly available. Thus, the public must rely on third-party bot detection. These tools employ machine learning and often achieve near perfect performance for classification on existing datasets, suggesting bot detection is accurate, reliable and fit for use in downstream applications. We provide evidence that this is not the case and show that high performance is attributable to limitations in dataset collection and labeling rather than sophistication of the tools. Specifically, we show that simple decision rules -- shallow decision trees trained on a small number of features -- achieve near-state-of-the-art performance on most available datasets and that bot detection datasets, even when combined together, do not generalize well to out-of-sample datasets. Our findings reveal that predictions are highly dependent on each dataset's collection and labeling procedures rather than fundamental differences between bots and humans. These results have important implications for both transparency in sampling and labeling procedures and potential biases in research using existing bot detection tools for pre-processing.

研究动机与目标

• 调查为何最先进机器人检测模型在现有基准数据集上能达到近乎完美的性能。
• 评估这些高性能结果是否反映真实的检测能力，还是数据收集与标注方式带来的特征。
• 评估机器人检测模型在不同数据集和机器人类型之间的泛化能力。
• 强调依赖机器人检测作为预处理步骤的下游研究中存在偏差的风险。
• 倡导在社交媒体研究数据集中提高数据收集与标注流程的透明度。

提出的方法

• 在极简特征集（如发推频率、点赞行为、语言、账号创建时间）上训练浅层决策树，以评估其在基准数据集上的性能。
• 使用多分类任务预测账户属于哪个数据集（按机器人类型划分），检验不同数据集的账户是否可区分。
• 比较浅层决策树与随机森林的性能，以评估可解释性与微小性能提升之间的权衡。
• 通过在合并数据集上训练并在外部样本数据集上测试，评估泛化能力，测量准确率与平衡准确率。
• 分析数据集特有的特征，如语言使用、互动模式和账号活动，以识别采样偏差。
• 采用标准机器学习评估指标（准确率、平衡准确率）量化模型性能及泛化失败情况。

实验结果

研究问题

• RQ1 高性能机器人检测模型在多大程度上依赖于数据集特有的特征，而非可泛化的机器人特征？
• RQ2 像浅层决策树这样的简单模型能否在现有基准数据集上实现近乎最先进性能？这又对模型泛化能力意味着什么？
• RQ3 在合并数据集上训练的模型在外部样本数据集上的泛化能力如何？这揭示了数据分布变化的哪些问题？
• RQ4 在相同机器人类型下，模型能否根据来源数据集对账户进行分类，这是否表明存在数据集层面的采样偏差？
• RQ5 这些发现对在下游社会科学研究中将机器人检测作为预处理步骤有何影响？

主要发现

• 仅基于少数特征（如发推频率、点赞行为或语言）训练的浅层决策树在大多数基准数据集上即可实现近乎最先进性能，表明模型准确率源于数据特征，而非模型复杂度。
• 在合并数据集上训练的模型在外部样本数据集上泛化能力差，性能显著下降，揭示了数据集间存在根本性的分布差异。
• 多分类器可高准确率预测账户所属数据集：人类账户的平衡准确率为 0.67/0.43，垃圾邮件机器人为 0.97/0.75，虚假关注者为 0.97/0.94，表明存在强烈的样本偏差。
• 垃圾邮件机器人数据集可通过简单行为模式区分——例如，social-spambots-1 中的意大利语推文，pronbots-2019 中的高点赞率——表明模型学习的是采样特征而非机器人语义。
• 随机森林等复杂模型的高性能并非源于其表达能力，而是与浅层模型一样，依赖于相同的数据集特定特征。
• 这些发现意味着，若底层数据不具代表性或未透明采集，用于下游研究的机器人检测工具可能引入显著偏差。