[论文解读] Online Hate: Behavioural Dynamics and Relationship with Misinformation

Matteo Cinelli, Andraž Pelicon+4 more|arXiv (Cornell University)|May 28, 2021

Hate Speech and Cyberbullying Detection参考文献 38被引用 9

一句话总结

本研究利用微调后的深度学习模型，分析了超过一百万条意大利新冠疫情期间YouTube视频下的评论，以检测仇恨言论和有毒语言。研究未发现‘连续仇恨者’的证据，但表明用户在可靠或可疑频道之间产生极化后，其在对立社区中的互动会变得更加有毒；同时，无论是时间长度还是评论数量增加，辩论的毒性都会上升，支持一种数字版戈德温法则的存在。

ABSTRACT

Online debates are often characterised by extreme polarisation and heated discussions among users. The presence of hate speech online is becoming increasingly problematic, making necessary the development of appropriate countermeasures. In this work, we perform hate speech detection on a corpus of more than one million comments on YouTube videos through a machine learning model fine-tuned on a large set of hand-annotated data. Our analysis shows that there is no evidence of the presence of "serial haters", intended as active users posting exclusively hateful comments. Moreover, coherently with the echo chamber hypothesis, we find that users skewed towards one of the two categories of video channels (questionable, reliable) are more prone to use inappropriate, violent, or hateful language within their opponents community. Interestingly, users loyal to reliable sources use on average a more toxic language than their counterpart. Finally, we find that the overall toxicity of the discussion increases with its length, measured both in terms of number of comments and time. Our results show that, coherently with Godwin's law, online debates tend to degenerate towards increasingly toxic exchanges of views.

研究动机与目标

• 调查主流社交媒体平台（如YouTube）上在线仇恨言论的行为动态。
• 考察错误信息消费与使用有毒或仇恨语言之间的关系。
• 确定那些接触错误信息来源的用户是否更可能产生仇恨言论。
• 分析毒性如何随时间演变，以及对辩论长度的响应。
• 挑战关于持续‘连续仇恨者’的假设，并探讨回音室在在线毒性中的作用。

提出的方法

• 在包含七万余条YouTube评论的手动标注数据集上微调深度学习模型，用于仇恨言论检测。
• 将评论分类为四种毒性等级：合适（0）、不适当（1）、冒犯性（2）和暴力（3）。
• 计算每场讨论的平均毒性水平 $ T_d $，即个体评论毒性评分的平均值。
• 使用线性回归模型检验毒性与两个时间度量（评论数量和评论延迟，即视频上传以来的时间）之间的关系。
• 根据意大利AGCOM监管机构提供的名单，将YouTube频道分类为‘可靠’和‘可疑’。
• 将真实数据与随机标签模型进行比较，以验证观察到的趋势并确保统计显著性。

实验结果

研究问题

• RQ1 在YouTube上消费错误信息的用户是否表现出更高的仇恨言论或有毒语言发生率？
• RQ2 是否存在‘连续仇恨者’的证据——即始终仅发布仇恨内容的用户？
• RQ3 随着讨论在时间长度和评论数量上的延长，线上辩论的毒性如何变化？
• RQ4 当用户参与其通常不关注的社区时，是否会变得更加有毒？
• RQ5 回音室效应在跨社区互动中在多大程度上加剧了有毒语言的使用？

主要发现

• 未发现‘连续仇恨者’的证据——没有任何用户持续仅发布仇恨评论，表明仇恨言论并非由一小部分固定群体持续维持。
• 在对立社区中评论时，对可靠新闻频道保持忠诚的用户，其使用的有毒语言平均程度显著高于对可疑频道忠诚的用户。
• 讨论长度（以评论数量衡量）与平均毒性水平之间存在统计上显著的正相关关系，即使在控制随机标签后依然成立。
• 毒性也随评论延迟（即视频上传以来的时间）而增加，表明辩论往往随时间推移而恶化，支持一种数字版戈德温法则的解释。
• 在可靠频道发布的视频讨论中，毒性与辩论长度的关系比在可疑频道发布的视频中更强且更显著。
• 整体上，YouTube上的仇恨言论比例略高于其他平台，但在可靠与可疑频道视频下的评论之间未发现显著差异。