[论文解读] ToxiGen: A Large-Scale Machine-Generated Dataset for Adversarial and Implicit Hate Speech Detection

Thomas Hartvigsen, Saadia Gabriel+4 more|arXiv (Cornell University)|Mar 17, 2022

Hate Speech and Cyberbullying Detection被引用 7

一句话总结

ToxiGen 引入了一个大规模、由机器生成的数据集，包含 274,186 条关于 13 个少数群体的有毒和无害言论，采用基于示范的提示框架和一种生成过程中嵌入对抗性分类器的解码方法（Alice），以生成微妙、隐含的仇恨言论。在 ToxiGen 上进行微调可使毒性分类器在人类编写的隐含仇恨言论数据集上的性能提升 7%–19%。

ABSTRACT

Toxic language detection systems often falsely flag text that contains minority group mentions as toxic, as those groups are often the targets of online hate. Such over-reliance on spurious correlations also causes systems to struggle with detecting implicitly toxic language. To help mitigate these issues, we create ToxiGen, a new large-scale and machine-generated dataset of 274k toxic and benign statements about 13 minority groups. We develop a demonstration-based prompting framework and an adversarial classifier-in-the-loop decoding method to generate subtly toxic and benign text with a massive pretrained language model. Controlling machine generation in this way allows ToxiGen to cover implicitly toxic text at a larger scale, and about more demographic groups, than previous resources of human-written text. We conduct a human evaluation on a challenging subset of ToxiGen and find that annotators struggle to distinguish machine-generated text from human-written language. We also find that 94.5% of toxic examples are labeled as hate speech by human annotators. Using three publicly-available datasets, we show that finetuning a toxicity classifier on our data improves its performance on human-written data substantially. We also demonstrate that ToxiGen can be used to fight machine-generated toxicity as finetuning improves the classifier significantly on our evaluation subset. Our code and data can be found at https://github.com/microsoft/ToxiGen.

研究动机与目标

• 为了解决毒性分类器过度依赖少数群体提及而导致的误报以及对隐含仇恨言论检测效果差的问题。
• 生成一个大规模、均衡的数据集，涵盖代表性不足的少数群体以及隐含（非辱骂性词汇）的有毒语言。
• 开发一种方法，使生成的机器文本在人类评估中与人类书写的文本难以区分。
• 通过在生成数据上进行微调，提升现有毒性分类器的性能，尤其是在隐含仇恨言论上的表现。

提出的方法

• 利用 GPT-3 作为文本生成器，通过基于示范的提示控制生成关于 13 个少数群体的有毒和无害言论。
• 实施 Alice，一种在解码过程中嵌入对抗性分类器的算法，以在束搜索过程中引导文本生成至特定的毒性水平。
• 使用预训练的毒性分类器引导生成过程，确保生成内容质量高且具有针对性，同时避免使用明确的侮辱性词汇。
• 控制生成过程，确保每个族裔群体的有毒和无害样本数量相等，从而减少虚假相关性。
• 生成的言论中 98.2% 为隐含形式（无辱骂性词汇或粗口），聚焦于微妙且系统性的偏见。
• 在 792 个样本的子集上进行人工评估，以验证生成文本的真实性及其与人类书写文本的可区分性。

实验结果

研究问题

• RQ1 能否使机器生成的文本在人类评估中与人类书写的有毒和无害言论难以区分？
• RQ2 在 ToxiGen 上进行微调在多大程度上能提升现有基于人工标注的隐含仇恨言论数据集上的性能？
• RQ3 通过 Alice 实现的对抗性生成能否生成欺骗多个现有毒性分类器的言论？
• RQ4 ToxiGen 在多大程度上覆盖了代表性不足的少数群体以及隐含形式的仇恨言论？
• RQ5 在 ToxiGen 上进行训练在多大程度上能减少少数群体提及与毒性预测之间的虚假相关性？

主要发现

• 在人工评估中，90.5% 的机器生成样本被误认为是人类书写的文本，表明其具有很高的真实性。
• ToxiGen 中 94.5% 的有毒样本被人工标注者标记为仇恨言论，证实了其感知到的毒性。
• 在 ToxiGen 上对现有毒性分类器进行微调，使其在三个基准数据集（ImplicitHateCorpus、SocialBiasFrames 和 DynaHate）上的性能提升了 7%–19%。
• 该数据集中 98.2% 的有毒言论为隐含形式，证明了对非显性但具有危害性的语言的有效生成。
• Alice 生成的言论成功欺骗了五个公开可用的毒性分类器，包括 Perspective API 和 OpenAI 的内容过滤器。
• 该方法成功生成了在 13 个少数群体身份上平衡、多样且语境相关的有毒和无害言论。