[论文解读] Personalizing Content Moderation on Social Media: User Perspectives on Moderation Choices, Interface Design, and Labor

Shagun Jhaver, Alice Qian Zhang+4 more|arXiv (Cornell University)|May 17, 2023

Hate Speech and Cyberbullying Detection被引用 5

一句话总结

本研究通过与24名用户的访谈，调查了用户在社交媒体上对个人内容审核工具的偏好，评估了毒性滑块、词过滤器和布尔切换等模拟界面。研究发现，用户重视审核工具的清晰度、上下文信息和透明度，更倾向于由平台或值得信赖的第三方开发这些工具，凸显了在提升用户控制力与平台责任方面，需要设计更直观、更具问责性的个人审核机制。

ABSTRACT

Social media platforms moderate content for each user by incorporating the outputs of both platform-wide content moderation systems and, in some cases, user-configured personal moderation preferences. However, it is unclear (1) how end users perceive the choices and affordances of different kinds of personal content moderation tools, and (2) how the introduction of personalization impacts user perceptions of platforms' content moderation responsibilities. This paper investigates end users' perspectives on personal content moderation tools by conducting an interview study with a diverse sample of 24 active social media users. We probe interviewees' preferences using simulated personal moderation interfaces, including word filters, sliders for toxicity levels, and boolean toxicity toggles. We also examine the labor involved for users in choosing moderation settings and present users' attitudes about the roles and responsibilities of social media platforms and other stakeholders towards moderation. We discuss how our findings can inform design solutions to improve transparency and controllability in personal content moderation tools.

研究动机与目标

• 了解终端用户如何感知和偏好不同类型的个人内容审核工具，例如滑块、过滤器和切换按钮。
• 考察用户在配置个人审核设置时所感知到的劳动与认知负担。
• 探讨用户对平台在内容审核中责任的认知，以及第三方开发者的作用。
• 识别可提升个性化审核系统透明度、可控性与用户信任感的设计原则。

提出的方法

• 对24名活跃的社交媒体用户进行半结构化访谈，以探索其对个人审核工具的偏好。
• 设计并部署了一个模拟社交媒体界面，用于测试三种类型的审核控制：毒性滑块、词过滤器和布尔毒性切换按钮。
• 利用用户反馈分析界面的清晰度、感知控制力，以及用户对平台与第三方在审核中角色的态度。
• 评估用户对“毒性”和“敏感度”等术语在审核设置中模糊性的感知。
• 探讨用户对用户自定义审核与平台统一规则之间公平性与合法性的看法。
• 收集用户对学术机构或非营利组织开发的工具与平台开发工具的采纳意愿。

实验结果

研究问题

• RQ1 用户如何感知和偏好不同类型的个人内容审核界面设计，例如滑块、过滤器和切换按钮？
• RQ2 用户在配置个人审核设置时，关联了哪些认知与情感劳动？
• RQ3 用户如何看待平台与第三方在开发和维护个人审核工具方面的责任？
• RQ4 清晰度、上下文信息与理由说明在用户信任与采纳个人审核工具过程中起到什么作用？
• RQ5 用户对不同类型内容（如毒性、攻击性或厌女言论）的个人审核偏好有何差异？

主要发现

• 用户强烈偏好词过滤器和布尔切换按钮，而非滑块，认为其更具清晰度与控制力，尤其在处理‘毒性’等模糊术语时。
• 许多参与者认为针对抽象类别（如‘攻击性’或‘厌女’）的滑块令人困惑，甚至可能产生危害，担心其会正常化或轻视严重的言语伤害。
• 用户在配置审核设置时感知到显著的劳动负担，尤其当术语模糊或缺乏上下文时，导致挫败感与参与度下降。
• 用户更愿意信任并使用由学术机构或声誉良好的非营利组织开发的个人审核工具，而非商业平台。
• 用户强调透明度的重要性，包括对审核术语的明确定义，以及对内容过滤决策的合理解释。
• 尽管用户对个性化存在兴趣，但参与者强调，个人工具不应免除平台在有效基础内容审核方面的责任。