[论文解读] Reward Modeling for Mitigating Toxicity in Transformer-based Language Models

Farshid Faal, Ketra Schmitt+1 more|arXiv (Cornell University)|Feb 19, 2022

Topic Modeling参考文献 43被引用 28

一句话总结

该论文提出 Reinforce-Detoxify，一种基于强化学习的方法，采用多任务学习（MTL）奖励模型，以减少基于 Transformer 的语言模型中的毒性，同时最小化对边缘化社会身份的无意偏见。通过使用 Kullback-Leibler（KL）散度正则化进行近端策略优化（PPO）微调，该方法在不牺牲流畅性或身份相关语言覆盖度的前提下，实现了毒性减少的最先进性能。

ABSTRACT

Transformer-based language models are able to generate fluent text and be efficiently adapted across various natural language generation tasks. However, language models that are pretrained on large unlabeled web text corpora have been shown to suffer from degenerating toxic content and social bias behaviors, consequently hindering their safe deployment. Various detoxification methods were proposed to mitigate the language model's toxicity; however, these methods struggled to detoxify language models when conditioned on prompts that contain specific social identities related to gender, race, or religion. In this study, we propose Reinforce-Detoxify; A reinforcement learning-based method for mitigating toxicity in language models. We address the challenge of safety in language models and propose a new reward model that is able to detect toxic content and mitigate unintended bias towards social identities in toxicity prediction. The experiments demonstrate that the Reinforce-Detoxify method for language model detoxification outperforms existing detoxification approaches in automatic evaluation metrics, indicating the ability of our approach in language model detoxification and less prone to unintended bias toward social identities in generated content.

研究动机与目标

• 解决现有去毒方法中对边缘化社会身份（如非裔、亚裔或穆斯林群体）语言的无意偏见，这些方法往往过度抑制此类语言。
• 开发一种能够检测毒性并减轻在毒性预测中对种族、性别和宗教偏见的奖励模型。
• 在不降低流畅性或身份相关语言覆盖度的前提下，提升语言模型生成的安全性。
• 证明使用具备偏见意识的奖励模型进行强化学习微调，可实现优于现有方法的毒性缓解效果。
• 通过 BOLD 和 RTP 等基准数据集，评估该方法在多样化社会身份上的鲁棒性。

提出的方法

• 该方法采用近端策略优化（PPO）进行预训练语言模型的强化学习微调。
• 在 Jigsaw 无意识偏见毒性数据集上训练多任务学习（MTL）奖励模型，以检测毒性并减少对社会身份的偏见。
• 通过联合训练多个辅助任务（如种族、性别、宗教）来提升毒性检测中的公平性。
• 策略通过最大化奖励进行优化，同时通过 Kullback-Leibler（KL）散度正则化惩罚与原始语言模型的偏离。
• 微调基于 Real Toxicity Prompts（RTP）数据集的提示进行，使用 BOLD 数据集评估身份相关的偏见。
• 使用 Jigsaw 数据集中的人工标注数据训练 MTL 奖励模型，以提升公平性和毒性检测能力。

实验结果

研究问题

• RQ1 与单任务分类器相比，基于多任务学习的奖励模型是否能减少毒性检测中的无意偏见？
• RQ2 使用该奖励模型进行强化学习微调，是否能在不损害流畅性的情况下减少语言模型生成的毒性？
• RQ3 当提示涉及边缘化群体（如非裔、亚裔或穆斯林个体）时，该方法表现如何？
• RQ4 移除 KL 惩罚在多大程度上会降低生成文本的流畅性？
• RQ5 该方法是否能保留来自边缘化社区的方言和语言表达的覆盖度？

主要发现

• Reinforce-Detoxify 模型在 BOLD 数据集上对 'Female' 身份的毒性得分为 77.69，优于 DAPT 基线（71.18）和原始 GPT-2（80.40）。
• 对于 'African Americans'，该模型的毒性得分为 89.04，显著优于 DAPT 基线（83.44），并展现出更好的公平性。
• 该模型在 'Religion' 身份上的困惑度保持较低（71.18），但上升至 95.06，表明该身份群体存在流畅性权衡。
• 消融实验表明，多任务 MTL 分类器的 F1 得分为 0.8942，优于单任务模型（0.7664）。
• 移除 KL 惩罚导致严重流畅性下降，如表 13 所示，生成内容变得重复且不连贯。
• 该方法在所有身份群体中，均优于现有去毒基线，在毒性减少和语言多样性保留方面表现更优。