[论文解读] On Transferability of Bias Mitigation Effects in Language Model Fine-Tuning

Xisen Jin, Francesco Barbieri+4 more|arXiv (Cornell University)|Oct 24, 2020

Hate Speech and Cyberbullying Detection参考文献 14被引用 4

一句话总结

本文提出上游偏见缓解（UBM），一种迁移学习方法，在预训练语言模型于上游任务进行初始微调期间缓解偏见，使下游模型能够继承减少的偏见而无需额外的缓解措施。在仇恨言论、毒性、职业预测和共指消解任务中的实验表明，与直接微调或普通迁移相比，UBM显著减少了下游任务中的偏见，证明了偏见缓解效果的可迁移性。

ABSTRACT

Fine-tuned language models have been shown to exhibit biases against protected groups in a host of modeling tasks such as text classification and coreference resolution. Previous works focus on detecting these biases, reducing bias in data representations, and using auxiliary training objectives to mitigate bias during fine-tuning. Although these techniques achieve bias reduction for the task and domain at hand, the effects of bias mitigation may not directly transfer to new tasks, requiring additional data collection and customized annotation of sensitive attributes, and re-evaluation of appropriate fairness metrics. We explore the feasibility and benefits of upstream bias mitigation (UBM) for reducing bias on downstream tasks, by first applying bias mitigation to an upstream model through fine-tuning and subsequently using it for downstream fine-tuning. We find, in extensive experiments across hate speech detection, toxicity detection, occupation prediction, and coreference resolution tasks over various bias factors, that the effects of UBM are indeed transferable to new downstream tasks or domains via fine-tuning, creating less biased downstream models than directly fine-tuning on the downstream task or transferring from a vanilla upstream model. Though challenges remain, we show that UBM promises more efficient and accessible bias mitigation in LM fine-tuning.

研究动机与目标

• 探究在上游微调期间应用的偏见缓解是否能在不重新应用缓解的情况下减少下游模型中的偏见。
• 解决需要敏感属性标注和自定义公平性度量的特定任务偏见缓解方法效率低下且难以访问的问题。
• 评估单一上游模型是否能够缓解多种偏见因素，并将这些优势传递到多样化的下游任务和领域。
• 通过将上游偏见减少与下游定制解耦，实现在自然语言处理中更高效、更易访问的偏见缓解。

提出的方法

• 在预训练语言模型于一个或多个上游数据集上进行微调期间应用偏见缓解目标，以创建一个去偏编码器。
• 在上游微调后重新初始化分类头，以确保下游适应与上游任务无关。
• 在下游任务上使用新的分类头对上游去偏编码器进行微调，而无需额外的偏见缓解。
• 使用基于梯度的重要性分析，衡量上游偏见缓解如何降低模型对下游训练中虚假特征的敏感性。
• 利用上游缓解带来的归纳偏置，减少下游微调期间对有偏表示的梯度更新。
• 使用标准公平性度量和梯度范数评估跨任务和领域的可迁移性，以评估偏见减少的稳定性。

实验结果

研究问题

• RQ1 在上游阶段缓解单一偏见因素后，当在相同领域和任务的新示例上进行微调时，是否仍能保持减少的偏见？
• RQ2 上游偏见缓解是否可迁移至与上游设置不同的下游任务和领域？
• RQ3 单一上游模型是否能够缓解多种类型的偏见，并将这些效果传递到多样化的下游应用中？
• RQ4 上游偏见缓解在多大程度上减少了下游微调期间对虚假特征的梯度更新？

主要发现

• 在仇恨言论检测、毒性检测、职业预测和共指消解任务中，上游偏见缓解显著减少了下游模型中的偏见。
• UBM在公平性度量方面优于直接在下游任务上微调以及从普通上游模型迁移的方法。
• 有偏表示的梯度范数在整个下游训练过程中保持较低水平，表明对虚假特征的敏感性降低。
• UBM模型中虚假模式对模型预测的重要性始终较低，证实了对有偏特征的依赖性减少。
• 即使下游任务和领域与上游任务不同，UBM仍表现出可迁移性，但在多偏见设置下性能稳定性较低。
• 梯度分析证实，UBM减少了对有偏表示的梯度大小，表明下游优化轨迹更加稳定和公平。