[论文解读] Quantifying How Hateful Communities Radicalize Online Users

Matheus Schmitz, Keith Burghardt+1 more|arXiv (Cornell University)|Sep 19, 2022

Hate Speech and Cyberbullying Detection被引用 5

一句话总结

本研究利用Reddit数据对中断时间序列（ITS）分析，证明加入仇恨性在线社区会因果性地增加用户在其他子版块中的仇恨言论使用，且在种族主义、性别歧视和体型羞辱类社区中均观察到显著的溢出效应。研究结果表明，极端化不仅发生在回音室中，还会在整个平台系统性传播，提示监管此类社区可能有助于减少平台范围内的仇恨言论。

ABSTRACT

While online social media offers a way for ignored or stifled voices to be heard, it also allows users a platform to spread hateful speech. Such speech usually originates in fringe communities, yet it can spill over into mainstream channels. In this paper, we measure the impact of joining fringe hateful communities in terms of hate speech propagated to the rest of the social network. We leverage data from Reddit to assess the effect of joining one type of echo chamber: a digital community of like-minded users exhibiting hateful behavior. We measure members' usage of hate speech outside the studied community before and after they become active participants. Using Interrupted Time Series (ITS) analysis as a causal inference method, we gauge the spillover effect, in which hateful language from within a certain community can spread outside that community by using the level of out-of-community hate word usage as a proxy for learned hate. We investigate four different Reddit sub-communities (subreddits) covering three areas of hate speech: racism, misogyny and fat-shaming. In all three cases we find an increase in hate speech outside the originating community, implying that joining such community leads to a spread of hate speech throughout the platform. Moreover, users are found to pick up this new hateful speech for months after initially joining the community. We show that the harmful speech does not remain contained within the community. Our results provide new evidence of the harmful effects of echo chambers and the potential benefit of moderating them to reduce adoption of hateful speech.

研究动机与目标

• 调查加入仇恨性在线社区是否会导致用户在更广泛社交网络中的仇恨言论使用增加。
• 量化社区成员身份对用户在原社区外仇恨言论行为的因果影响。
• 评估仇恨言论是否超越回音室传播，挑战此类内容保持孤立的假设。
• 利用因果推断方法评估加入极端子版块的长期行为影响。
• 通过实证结果为政策制定提供依据，证明监管或隔离极端在线社区的潜在益处。

提出的方法

• 采用中断时间序列（ITS）分析作为因果推断方法，建模用户加入特定子版块前后仇恨言论使用的变化。
• 为涵盖种族主义、性别歧视和体型羞辱的四个不同子版块构建高精度仇恨言论词典。
• 采用对照-处理用户匹配方法，比较加入仇恨子版块的用户与未加入的相似用户。
• 通过词典匹配其帖子和评论的代理指标，追踪用户随时间的仇恨言论使用情况。
• 进行敏感性分析，评估在不同时间带宽下效应大小的稳健性。
• 通过在ITS模型中纳入对照组，控制加入前仇恨言论水平的基线差异。

实验结果

研究问题

• RQ1 在仇恨子版块变得活跃是否会导致用户在其他子版块中的仇恨言论使用增加？
• RQ2 加入仇恨社区后，其对仇恨言论使用的增加效应在多长时间内持续？
• RQ3 是否存在从边缘社区向平台主流部分的仇恨言论可测量的溢出效应？
• RQ4 用户在离开社区后，其仇恨言论词汇的采用与保留程度如何？
• RQ5 不同类型的仇恨言论（种族主义、性别歧视、体型羞辱）在社区成员身份影响下，其跨社区传播的反应程度如何？

主要发现

• 加入仇恨子版块会导致用户在其他子版块中的仇恨言论使用立即且显著增加，该结果经ITS分析确认。
• 用户加入社区后，仇恨言论使用增加的效应持续数月，表明存在长期行为改变。
• 所有三类仇恨言论——种族主义、性别歧视和体型羞辱——在其各自社区中均表现出可测量的溢出效应。
• 用户在加入前已出现仇恨言论使用的上升趋势，表明存在一定程度的预先倾向，但加入后的增加与社区成员身份存在因果关联。
• 尽管部分用户在社区外发布内容时减少了最具有攻击性的术语，但整体仇恨言论水平仍保持高位。
• 本研究提供了因果证据，表明仇恨社区是极端化的策源地，其仇恨言论会超越边界传播，支持对这些社区实施针对性监管的必要性。