[论文解读] TAR on Social Media: A Framework for Online Content Moderation

Eugene Yang, David Lewis+1 more|arXiv (Cornell University)|Aug 29, 2021

Hate Speech and Cyberbullying Detection参考文献 48被引用 4

一句话总结

本文提出将原本为高召回率法律电子发现设计的科技辅助审查（TAR）工作流程，应用于在线内容审核，证明结合相关性反馈与不确定度采样策略的主动学习方法，可在两个公开数据集上将审核成本降低20%至55%。该方法优先筛选高价值内容交由人工审核，显著降低人力成本，同时保持对违规内容的高召回率。

ABSTRACT

Content moderation (removing or limiting the distribution of posts based on their contents) is one tool social networks use to fight problems such as harassment and disinformation. Manually screening all content is usually impractical given the scale of social media data, and the need for nuanced human interpretations makes fully automated approaches infeasible. We consider content moderation from the perspective of technology-assisted review (TAR): a human-in-the-loop active learning approach developed for high recall retrieval problems in civil litigation and other fields. We show how TAR workflows, and a TAR cost model, can be adapted to the content moderation problem. We then demonstrate on two publicly available content moderation data sets that a TAR workflow can reduce moderation costs by 20% to 55% across a variety of conditions.

研究动机与目标

• 解决社交媒体平台仅依赖人工审核所面临的高成本与可扩展性挑战。
• 将科技辅助审查（TAR）工作流程——该流程原本用于高召回率法律发现——适配至内容审核场景。
• 评估主动学习策略（如相关性反馈与不确定度采样）是否相比随机采样或全量人工审核能降低审核成本。
• 分析在真实审核场景中，不同内容出现频率水平与批次大小下，成本降低的差异。
• 探索将法律信息检索技术迁移至社交媒体内容审核的可行性。

提出的方法

• 将电子发现中的两阶段与单阶段TAR工作流程适配至内容审核，采用人机协同的主动学习机制。
• 利用相关性反馈与不确定度采样策略，优先筛选需人工审核的文档，从而迭代提升分类器性能。
• 应用成本模型，平衡人工审核时间与模型训练成本，以优化工作流程效率。
• 使用公开可用的数据集（Wikipedia与ASKfm）评估TAR在不同主题出现频率与批次大小下的表现。
• 每主题进行20轮重复实验，以确保统计稳健性，并精确计算各轮次的性能与成本指标。
• 通过热力图可视化精确度趋势，评估审核人员经验与分类器质量随时间的变化。

实验结果

研究问题

• RQ1 能否有效将法律电子发现中的TAR工作流程适配至在线内容审核任务？
• RQ2 相比随机采样，相关性反馈与不确定度采样在多大程度上降低了审核成本？
• RQ3 内容出现频率（如罕见与频繁的有害内容）如何影响TAR审核中的成本降低潜力？
• RQ4 主动学习中使用的批次大小是否影响成本效率与分类器性能？
• RQ5 不同TAR策略下，审核内容的精确度如何随迭代次数演变？

主要发现

• 在Wikipedia与ASKfm两个数据集上，不同条件下TAR工作流程均将审核成本降低了20%至55%。
• 相关性反馈与不确定度采样显著优于随机采样，成本降低在ASFKm中于约5,000份训练文档后趋于平稳，Wikipedia则更晚趋于平稳。
• 对于ASKfm中低频类别如“辱骂排斥”（Curse Exclusion），在8,002轮迭代后，不确定度采样实现高达53.65%的成本节省。
• 相关性反馈使精确度保持高且稳定，而不确定度采样在各批次间维持一致的精确度，表明分类器性能持续可靠提升。
• 审核随机80%样本的成本分别为92,590（Wikipedia）与90,958（ASKfm），显著高于所有基于TAR的方法。
• 较大批次大小略微降低了成本改善效果，因模型重训频率降低，表明实际应用中较小批次可能更具成本效益。