[论文解读] Should We Attend More or Less? Modulating Attention for Fairness

Abdelrahman Zayed, Gonçalo Mordido+2 more|arXiv (Cornell University)|May 22, 2023

Topic Modeling被引用 4

一句话总结

该论文提出EAT（基于熵的注意力温度缩放），一种新颖的内部处理方法，通过在训练后调节注意力分布熵来提升NLP模型的公平性，同时保持极低的性能损失。通过动态调整注意力logits的温度，EAT在文本分类和生成任务中均有效缓解了性别、种族、宗教及其他社会偏见，优于现有方法，且性能下降不足3.5%。

ABSTRACT

The advances in natural language processing (NLP) pose both opportunities and challenges. While recent progress enables the development of high-performing models for a variety of tasks, it also poses the risk of models learning harmful biases from the data, such as gender stereotypes. In this work, we investigate the role of attention, a widely-used technique in current state-of-the-art NLP models, in the propagation of social biases. Specifically, we study the relationship between the entropy of the attention distribution and the model's performance and fairness. We then propose a novel method for modulating attention weights to improve model fairness after training. Since our method is only applied post-training and pre-inference, it is an intra-processing method and is, therefore, less computationally expensive than existing in-processing and pre-processing approaches. Our results show an increase in fairness and minimal performance loss on different text classification and generation tasks using language models of varying sizes. WARNING: This work uses language that is offensive.

研究动机与目标

• 探究注意力熵与NLP模型公平性之间的关系。
• 在不重新训练的前提下，解决微调后的BERT和RoBERTa模型中的性别及其他社会偏见。
• 开发一种计算高效的内部处理方法，用于在训练后修改注意力分布。
• 评估该方法在性别之外的多种社会偏见（如种族、宗教等）上的泛化能力。
• 将该方法扩展至使用GPT-Neo的文本生成任务。

提出的方法

• EAT在训练后对注意力logits应用温度缩放，以调节注意力分布的熵。
• 温度超参数仅在性别偏见上使用验证数据进行调优。
• 该方法在推理阶段应用，因此轻量化且可兼容任意预训练模型。
• EAT与现有的内部处理和预处理去偏方法结合，以评估公平性的叠加提升效果。
• 该方法在三个文本分类数据集上进行评估，并扩展至使用BOLD基准的文本生成任务。
• 通过VADER进行情感分析以衡量模型输出中的偏见，同时使用困惑度评估生成质量。

实验结果

研究问题

• RQ1 在微调后的BERT和RoBERTa模型中，注意力分布熵与公平性及性能之间存在何种关系？
• RQ2 在不造成显著性能下降的前提下，能否通过训练后调节注意力熵来提升公平性？
• RQ3 所提出的EAT方法是否能泛化至性别以外的社会偏见（如种族、宗教和性取向）？
• RQ4 与其它内部处理、内部处理及预处理去偏方法相比，EAT在公平性和鲁棒性方面表现如何？
• RQ5 EAT能否有效应用于GPT-Neo等文本生成模型以减轻社会偏见？

主要发现

• 在所有测试的偏见类型中，EAT均取得最高的公平性排名，在83%的场景中优于其他内部处理方法。
• 在所有文本分类任务中，EAT的性能下降均不足3.5%，仅随机扰动例外。
• EAT在所有人口群体中均降低了模型生成内容的负面情感，同时保持了较低的困惑度。
• 仅在性别偏见上进行调优的超参数，能有效泛化至其他社会偏见（包括种族、宗教和残疾）。
• 将EAT与现有内部处理和预处理方法结合，可在所有设置中持续提升公平性。
• 即使验证模板与测试模板的数据分布不同，EAT仍表现出良好的鲁棒性。