[论文解读] User Engagement and the Toxicity of Tweets

Nazanin Salehabadi, Anne Groggel+3 more|arXiv (Cornell University)|Nov 7, 2022

Hate Speech and Cyberbullying Detection被引用 9

一句话总结

本研究利用 Google 的 Perspective API 分析 85,300 条 Twitter 对话，以分类毒性，发现有毒对话更长且参与用户更多，尤其当有毒回复紧随早期有毒推文之后时。有毒回复的顺序显著影响对话基调，首次回复即具毒性会加剧整体毒性，表明非有毒回复可能有助于缓解网络不文明现象。

ABSTRACT

Twitter is one of the most popular online micro-blogging and social networking platforms. This platform allows individuals to freely express opinions and interact with others regardless of geographic barriers. However, with the good that online platforms offer, also comes the bad. Twitter and other social networking platforms have created new spaces for incivility. With the growing interest on the consequences of uncivil behavior online, understanding how a toxic comment impacts online interactions is imperative. We analyze a random sample of more than 85,300 Twitter conversations to examine differences between toxic and non-toxic conversations and the relationship between toxicity and user engagement. We find that toxic conversations, those with at least one toxic tweet, are longer but have fewer individual users contributing to the dialogue compared to the non-toxic conversations. However, within toxic conversations, toxicity is positively associated with more individual Twitter users participating in conversations. This suggests that overall, more visible conversations are more likely to include toxic replies. Additionally, we examine the sequencing of toxic tweets and its impact on conversations. Toxic tweets often occur as the main tweet or as the first reply, and lead to greater overall conversation toxicity. We also find a relationship between the toxicity of the first reply to a toxic tweet and the toxicity of the conversation, such that whether the first reply is toxic or non-toxic sets the stage for the overall toxicity of the conversation, following the idea that hate can beget hate.

研究动机与目标

• 探讨有毒与非有毒 Twitter 对话中用户参与度的差异。
• 研究有毒推文的出现顺序如何影响对话动态与用户参与。
• 评估对有毒推文的首次回复的性质是否会影响对话的整体毒性。
• 识别与参与有毒对话相关的账户层面特征。
• 通过理解社交媒体互动中的行为触发因素，为设计减轻网络毒性的工具提供建议。

提出的方法

• 使用 Google 的 Perspective API 为原始推文和直接回复分配二元毒性标签（有毒 vs. 非有毒）。
• 若任一推文（原始推文或回复）的毒性得分超过阈值，则将对话分类为有毒。
• 通过将每条对话中的有毒推文总数除以总推文数，构建连续的毒性得分。
• 应用回归模型，研究首次回复的毒性对用户参与度的影响，同时控制用户账户特征。
• 追踪首次有毒推文和首次回复的索引（顺序），以评估时间效应对对话参与度的影响。
• 将分析范围限制在 48 小时内的直接回复，以确保对话动态具有及时性和即时性。

实验结果

研究问题

• RQ1 有毒对话与非有毒对话在 Twitter 上的长度和用户参与度方面有何差异？
• RQ2 对有毒推文的首次回复的毒性与其整体对话毒性之间存在何种关系？
• RQ3 有毒推文的出现时机与顺序如何影响用户参与度与对话基调？
• RQ4 哪些用户账户特征与参与有毒对话相关？
• RQ5 非有毒回复能否作为遏制在线对话毒性的对策？

主要发现

• 有毒对话显著长于非有毒对话，平均回复数为 12.3 条，而非有毒对话仅为 8.7 条。
• 在有毒对话中，毒性水平越高，用户参与度也越高，表明高毒性话题线程会吸引更多用户参与。
• 对有毒推文的首次直接回复若具毒性，与预测用户参与度降低 0.82 相关（p < 0.001），表明有毒回复会降低参与度。
• 当对有毒推文的首次回复为非有毒时，用户参与度更高，表明非有毒回复可能有助于稳定或降低对话毒性。
• 拥有个人资料图片、链接或认证状态的 Twitter 账户，发布有毒内容的可能性显著更低，表明可识别性可减少毒性行为。
• 有毒推文常作为原始推文或首次回复出现，其早期出现设定了先例，从而提高了整体对话的毒性。