[论文解读] TweetBLM: A Hate Speech Dataset and Analysis of Black Lives Matter-related Microblogs on Twitter

Sumit Kumar, Raj Ratn Pranesh|arXiv (Cornell University)|Aug 27, 2021

Hate Speech and Cyberbullying Detection被引用 9

一句话总结

本文介绍了TweetBLM，一个包含9,165条与黑人生命重要（Black Lives Matter）相关的仇恨言论数据集，由人工标注为“仇恨”或“非仇恨”。该研究评估了多种模型，包括BERT-base和BERT-large，其中BERT-large在仇恨言论分类中达到89.13%的最高准确率，为减轻针对非裔美国人群体的网络仇恨提供了宝贵资源。

ABSTRACT

In the past few years, there has been a significant rise in toxic and hateful content on various social media platforms. Recently Black Lives Matter movement came into the picture, causing an avalanche of user generated responses on the internet. In this paper, we have proposed a Black Lives Matter related tweet hate speech dataset TweetBLM. Our dataset comprises 9165 manually annotated tweets that target the Black Lives Matter movement. We annotated the tweets into two classes, i.e., HATE and NONHATE based on their content related to racism erupted from the movement for the black community. In this work, we also generated useful statistical insights on our dataset and performed a systematic analysis of various machine learning models such as Random Forest, CNN, LSTM, BiLSTM, Fasttext, BERTbase, and BERTlarge for the classification task on our dataset. Through our work, we aim at contributing to the substantial efforts of the research community for the identification and mitigation of hate speech on the internet. The dataset is publicly available.

研究动机与目标

• 为解决在黑人生命重要运动背景下针对反黑人种族主义的专用仇恨言论数据集缺乏的问题。
• 创建一个高质量、人工标注的与黑人生命重要相关的推文数据集，用于仇恨言论检测。
• 评估多种机器学习模型（包括BERT和FastText）在该新数据集上的性能表现。
• 提供关于仇恨言论中语言模式（如频繁出现的n-gram和话题标签）的统计洞察。
• 支持研究社区开发更优的工具，以识别和缓解社交媒体上的仇恨言论。

提出的方法

• 使用Tweepy和Twitter API从2020年5月27日至7月26日期间收集了730万条推文，通过筛选英语语言和关注者数超过150的用户以减少垃圾信息。
• 构建基于关键词的查询集，包括#BLM、#BlackLivesMatter及语义变体，以提取与运动相关的内容。
• 人工标注9,165条推文为两类：'仇恨'（针对非裔美国人社区的种族主义内容）和'非仇恨'（非仇恨内容）。
• 对n-gram（单字和双字）及话题标签进行统计分析，以提取数据集中仇恨言论的语言模式。
• 使用80/20的训练-测试划分，训练并比较多种模型：随机森林、CNN、LSTM、BiLSTM、FastText，以及BERT-base和BERT-large。
• 在验证数据上微调超参数，所有模型均使用分类交叉熵损失和Adam优化器。

实验结果

研究问题

• RQ1 最先进的深度学习模型在检测专门针对黑人生命重要运动的仇恨言论方面效果如何？
• RQ2 与BLM相关的仇恨言论中，哪些语言模式（如频繁出现的单字、双字和话题标签）占主导地位？
• RQ3 在该专用数据集上，基于BERT的模型与传统模型（如随机森林和CNN）的性能相比如何？
• RQ4 该数据集的质量和特异性在多大程度上提升了仇恨言论检测模型的泛化能力？
• RQ5 在BLM运动高峰期，用户生成内容中仇恨言论的统计特征是什么？

主要发现

• BERT-large在仇恨言论分类中达到最高的89.13%准确率，显著优于其他模型。
• BERT-base达到87.45%的准确率，表明上下文表示在理解微妙仇恨言论方面的有效性。
• FastText达到82.77%的准确率，优于基于RNN的模型，显示出子词嵌入的强大性能。
• BiLSTM达到77.58%的准确率，比LSTM高出1.37%，表明双向上下文对序列建模的益处。
• CNN达到79.46%的准确率，优于LSTM和随机森林，凸显其在捕捉局部文本模式方面的有效性。
• 随机森林达到77.35%的准确率，略高于LSTM，表现出传统树基模型的基线性能。