[论文解读] Unified Detoxifying and Debiasing in Language Generation via Inference-time Adaptive Optimization

Zonghan Yang, Xiaoyuan Yi+3 more|arXiv (Cornell University)|Oct 10, 2022

Fuzzy Logic and Control Systems被引用 6

一句话总结

本文提出UDDIA，一种通过推理时自适应优化实现预训练语言模型中联合去毒化与去偏化的统一框架。该方法通过参数高效微调，联合校正输出分布以减少毒性与社会偏见，相较于先前方法，在生成质量与计算成本影响极小的情况下，实现了更优的伦理对齐效果。

ABSTRACT

Warning: this paper contains model outputs exhibiting offensiveness and biases. Recently pre-trained language models (PLMs) have prospered in various natural language generation (NLG) tasks due to their ability to generate fairly fluent text. Nevertheless, these models are observed to capture and reproduce harmful contents in training corpora, typically toxic language and social biases, raising severe moral issues. Prior works on ethical NLG tackle detoxifying and debiasing separately, which is problematic since we find debiased models still exhibit toxicity while detoxified ones even exacerbate social biases. To address such a challenge, we propose the first unified framework of detoxifying and debiasing called UDDIA, which jointly formalizes these two problems as rectifying the output space. We theoretically interpret our framework as learning a text distribution mixing weighted attributes. Besides, UDDIA conducts adaptive optimization of only a few parameters during decoding based on a parameter-efficient tuning schema without any training data. This leads to minimal generation quality loss and improved rectification performance with acceptable computational cost. Experimental results demonstrate that compared to several strong baselines, UDDIA achieves debiasing and detoxifying simultaneously and better balances efficiency and effectiveness, taking a further step towards practical ethical NLG.

研究动机与目标

• 为解决现有分离式去毒化与去偏化方法常导致一方问题加剧而另一方缓解的局限性。
• 开发一种统一框架，在推理阶段联合缓解预训练语言模型中的毒性与社会偏见。
• 通过参数高效微调，在最小化生成质量退化的同时保持低计算成本。
• 为输出空间的联合校正（即属性条件化文本分布的混合）提供理论依据。
• 通过在实际部署中平衡有效性、效率与流畅性，实现实用化的伦理语言生成。

提出的方法

• UDDIA将去毒化与去偏化形式化为对输出分布的联合优化，以减少对敏感属性（如性别、种族）的依赖，并降低毒性。
• 采用推理时自适应优化，仅使用基于梯度的更新方法微调少量参数，由外部分类器引导。
• 该方法使用参数高效微调方案（如LoRA风格的适应），无需重新训练或访问训练数据。
• 将校正过程解释为学习以人口群体和毒性属性为条件的文本分布混合，提供理论支撑。
• 框架在每一步生成过程中应用自适应优化，动态调整输出以减少有害内容，同时保持流畅性。
• 毒性与偏见通过外部工具进行度量：使用PERSPECTIVE API衡量毒性，使用Regard分数衡量偏见，以指导优化过程。

实验结果

研究问题

• RQ1 能否在单一框架中有效统一预训练语言模型的去毒化与去偏化？
• RQ2 毒性与偏见的联合优化是否优于独立方法？
• RQ3 能否通过参数高效、推理时的自适应方法实现强大的伦理对齐，而无需重新训练或造成显著的质量损失？
• RQ4 该方法在不同模型规模下的表现如何？在生成速度与流畅性方面表现如何？
• RQ5 该框架能否同时缩小不同人口群体之间的毒性与偏见差距？

主要发现

• UDDIA在毒性降低与偏见缓解两方面均达到最先进性能，优于强基线方法如DExperts与PPLM。
• 该方法在各类提示下平均将毒性降低40%，同时缩小了不同人口群体间的偏见差距。
• 生成质量损失极小，困惑度（PPL）接近原始GPT-2-Large模型，表明流畅性得到良好保持。
• UDDIA-t与UDDIA-u变体的推理速度优于PPLM，尽管仍慢于部分基线，表明仍有优化空间。
• 该框架成功缩小了性别与种族群体间的毒性差距，但残余差距仍存在，提示未来可通过更细粒度属性实现进一步改进。
• 该方法在不同提示类型下表现出鲁棒性，但在特定提示组上生成速度较低，表明在某些情境下可能存在性能瓶颈。