[论文解读] Reducing Gender Bias in Word-Level Language Models with a Gender-Equalizing Loss Function

Yusu Qian, Urwa Muaz+2 more|arXiv (Cornell University)|May 30, 2019

Topic Modeling参考文献 10被引用 8

一句话总结

本文提出一种针对词级语言模型的性别去偏方法，通过修改损失函数以均衡男性和女性代词及职业术语的概率。该方法显著降低了性别偏见——尤其在与职业相关的预测中——且困惑度上升幅度较小，优于现有方法（包括数据增强和词嵌入去偏），在结合反事实数据增强时达到最先进性能。

ABSTRACT

Gender bias exists in natural language datasets which neural language models tend to learn, resulting in biased text generation. In this research, we propose a debiasing approach based on the loss function modification. We introduce a new term to the loss function which attempts to equalize the probabilities of male and female words in the output. Using an array of bias evaluation metrics, we provide empirical evidence that our approach successfully mitigates gender bias in language models without increasing perplexity. In comparison to existing debiasing strategies, data augmentation, and word embedding debiasing, our method performs better in several aspects, especially in reducing gender bias in occupation words. Finally, we introduce a combination of data augmentation and our approach, and show that it outperforms existing strategies in all bias evaluation metrics.

研究动机与目标

• 解决由有偏训练数据引起的神经语言模型中的性别偏见问题。
• 探究是否可通过损失函数修改在模型训练过程中直接实现偏见缓解。
• 评估端到端去偏的有效性，而不依赖预处理或词嵌入去偏。
• 将所提方法与现有去偏策略（包括数据增强和基于正则化的嵌入去偏）进行比较。
• 探索该方法在下游自然语言处理应用中的泛化能力。

提出的方法

• 该方法引入一个性别均衡损失项，惩罚性别词对（如 he/she、father/mother）预测概率的差异。
• 损失函数设计为最小化模型输出分布中性别词对对数概率的差异。
• 该方法在训练过程中端到端应用，通过调整整个模型参数来减少预测中的偏见。
• 该方法无需数据增强或显式地对词嵌入进行几何去偏。
• 通过随机搜索进行超参数调优，以优化偏见减少与困惑度之间的权衡。
• 将该方法与反事实数据增强（CDA）结合，以进一步提升性能。

实验结果

研究问题

• RQ1 能否通过训练期间修改损失函数有效降低语言模型中的性别偏见？
• RQ2 与数据增强和词嵌入去偏相比，基于损失的去偏在偏见减少和困惑度方面表现如何？
• RQ3 通过损失函数修改实现的端到端去偏是否比嵌入层面的技术更具鲁棒性和泛化能力？
• RQ4 所提方法在职业相关预测中的偏见减少程度如何？该指标是性别刻板印象的关键指标。
• RQ5 将所提基于损失的方法与数据增强结合，能否实现更优的去偏性能？

主要发现

• 在超参数 λ = 1 时，该方法将职业偏见度量 $CB|o$ 减少 100%，$CB|g$ 减少 98.52%。
• 该方法将性别偏见度量 $B^{N}$ 减少 58.95%，$B_{c}^{N}$ 减少 45.74%。
• 该方法将嵌入偏见度量 $EB_{d}$ 减少 98.98%，优于 REG 和 CDA。
• 模型在生成文本中保持了均衡的性别比例（GR ≈ 1），表明有效缓解了性别失衡。
• 尽管在较高 λ 值下困惑度略有上升，但增幅微小，未损害模型实用性。
• 所提损失函数与反事实数据增强结合后，在所有偏见度量上均优于单一方法，且保持低困惑度。