[论文解读] Spillover of Antisocial Behavior from Fringe Platforms: The Unintended Consequences of Community Banning

Giuseppe Russo, Luca Verginer+2 more|arXiv (Cornell University)|Sep 20, 2022

Hate Speech and Cyberbullying Detection参考文献 39被引用 4

一句话总结

本研究探讨了在Reddit等主流平台禁止反社会在线社群所带来的非预期后果，发现从主流平台迁移到监管宽松的边缘平台的用户，由于在多个平台的共同参与，其在Reddit上表现出更高的攻击性与规范违反行为。基于约7万名来自被封禁社群（r/The_Donald、r/GenderCritical、r/Incels）的用户，研究采用双重差分法（DiD）设计，表明在边缘平台的长期参与显著提升了用户在Reddit上的攻击性，且该效应随时间推移和活跃度提升而增强。

ABSTRACT

Online platforms face pressure to keep their communities civil and respectful. Thus, the bannings of problematic online communities from mainstream platforms like Reddit and Facebook are often met with enthusiastic public reactions. However, this policy can lead users to migrate to alternative fringe platforms with lower moderation standards and where antisocial behaviors like trolling and harassment are widely accepted. As users of these communities often remain co-active across mainstream and fringe platforms, antisocial behaviors may spill over onto the mainstream platform. We study this possible spillover by analyzing around 70,000 users from three banned communities that migrated to fringe platforms: r/The_Donald, r/GenderCritical, and r/Incels. Using a difference-in-differences design, we contrast co-active users with matched counterparts to estimate the causal effect of fringe platform participation on users' antisocial behavior on Reddit. Our results show that participating in the fringe communities increases users' toxicity on Reddit (as measured by Perspective API) and involvement with subreddits similar to the banned community -- which often also breach platform norms. The effect intensifies with time and exposure to the fringe platform. In short, we find evidence for a spillover of antisocial behavior from fringe platforms onto Reddit via co-participation.

研究动机与目标

• 检验在主流平台禁止反社会社群是否会导致通过共同参与用户在原平台引发非预期的行为外溢。
• 评估用户在社群被封禁后参与边缘平台对Reddit上反社会行为的因果影响。
• 评估用户在边缘平台上的时间长度与活跃程度如何影响行为外溢的程度。
• 通过识别共同参与用户作为反社会行为外溢的关键传播路径，为平台治理提供建议。
• 提供基于证据的政策建议，以制定更有效的内容管理策略，避免加剧平台毒性。

提出的方法

• 采用双重差分（DiD）因果推断设计，比较在Reddit和边缘平台均有活跃行为的共同参与用户与仅在Reddit活跃的匹配用户。
• 使用来自三个被封禁Reddit社群（r/The_Donald、r/GenderCritical、r/Incels）的纵向数据，追踪约7万名用户在封禁后的行为。
• 利用Perspective API的毒性评分衡量Reddit上的反社会行为，该工具为机器学习模型，可检测攻击性、不尊重或破坏性内容。
• 基于封禁前的行为与人口统计代理变量，构建与之匹配的仅Reddit用户对照组，以确保可比性。
• 追踪毒性水平与访问子版块随时间的变化，以评估行为外溢的时间动态。
• 通过在合理假设下分析结果的稳健性，控制因用户名变更导致的共同参与用户误标可能带来的影响。

实验结果

研究问题

• RQ1 在社群被封禁后，用户参与边缘平台是否会导致其在原主流平台上的反社会行为增加？
• RQ2 在边缘平台上的持续时间与活跃程度如何影响Reddit上行为外溢的强度？
• RQ3 与仅在Reddit发帖的用户相比，持续在两个平台活跃的共同参与用户是否更可能在Reddit上违反规范？
• RQ4 被封社群向边缘平台的迁移在多大程度上削弱了社群层级封禁的预期效果？
• RQ5 通过在平台管理策略中针对性地处理共同参与用户，是否可以缓解行为外溢效应？

主要发现

• 在社群被封禁后迁移到边缘平台的共同参与用户，在Reddit上的毒性评分显著高于匹配的仅Reddit用户。
• Reddit上的毒性增加并非立即显现，而是随时间推移逐步增强，表明长期暴露于边缘平台具有累积效应。
• 在边缘平台上的活跃度越高，Reddit上的毒性提升越明显，表明存在剂量-反应关系。
• 在被封社群与边缘平台均有参与的用户，更可能涉足其他同样违反平台规范的子版块。
• 结果表明，社群层级封禁可能反而强化了边缘平台的反社会生态，并使其毒性回流至主流平台。
• 本研究结果代表了真实效应的下限，因为若因用户名变更导致的共同参与用户误标情况存在，且这些用户行为与正确标记者相似，则实际效应可能被低估。