[论文解读] Perturbation Augmentation for Fairer NLP

Rebecca Qian, Candace Ross+4 more|arXiv (Cornell University)|May 25, 2022

Topic Modeling被引用 4

一句话总结

本文提出一种基于大规模人工标注数据集（PANDA，包含98,000个人口统计文本扰动）训练的神经扰动模型，以提升自然语言处理中的公平性。通过在训练数据中引入人口统计属性替换（如将'women'替换为'men'），该方法在预训练（FairBERTa）和微调（fairtuning）阶段均提升了模型的公平性，且未造成性能下降，其有效性通过一种新指标fairscore得到验证，该指标衡量模型对人口统计扰动的鲁棒性。

ABSTRACT

Unwanted and often harmful social biases are becoming ever more salient in NLP research, affecting both models and datasets. In this work, we ask whether training on demographically perturbed data leads to fairer language models. We collect a large dataset of human annotated text perturbations and train a neural perturbation model, which we show outperforms heuristic alternatives. We find that (i) language models (LMs) pre-trained on demographically perturbed corpora are typically more fair, and (ii) LMs finetuned on perturbed GLUE datasets exhibit less demographic bias on downstream tasks, and (iii) fairness improvements do not come at the expense of performance on downstream tasks. Lastly, we discuss outstanding questions about how best to evaluate the (un)fairness of large language models. We hope that this exploration of neural demographic perturbation will help drive more improvement towards fairer NLP.

研究动机与目标

• 为应对NLP模型中日益增长的社会偏见问题，这些偏见会反映并放大训练数据中的有害关联。
• 克服基于规则的人口统计扰动方法的局限性，后者僵化且生成的文本不自然。
• 开发一种基于大规模人工标注的人口统计文本扰动数据集训练的神经可控扰动模型。
• 评估人口统计数据增强对语言模型预训练和微调阶段公平性的影响。
• 提出fairscore，一种新的外部指标，用于衡量在多种自然语言理解任务中，模型对人口统计扰动的鲁棒性作为公平性的度量。

提出的方法

• 在多样化的人口统计轴（如性别、种族等）上，人工标注98,000个由人类生成的人口统计扰动，构建PANDA数据集。
• 训练一个序列到序列的神经模型（即扰动模型），通过将人口统计术语替换为目标属性，生成高质量且语义保持的扰动文本。
• 在包含扰动样本的语料上预训练一个大型语言模型FairBERTa，以在预训练阶段减少人口统计偏见。
• 使用一种称为'fairtuning'的方法，在经过扰动增强的GLUE数据集上微调现有模型，以提升下游任务中的公平性。
• 提出fairscore，一种外部公平性指标，通过计算原始输入与扰动输入之间模型预测的变化，量化模型对人口统计变化的鲁棒性。

实验结果

研究问题

• RQ1 神经化人口统计扰动是否能在不损失性能的前提下提升预训练语言模型的公平性？
• RQ2 在经过扰动增强的数据集上进行微调（fairtuning）是否能降低下游自然语言理解任务中的性别统计偏见？
• RQ3 所提出的fairscore指标在衡量多种NLP任务中模型对人口统计扰动的鲁棒性方面是否有效？
• RQ4 人口统计扰动在多大程度上改变了标准NLU数据集中原始的黄金标签？
• RQ5 大规模人工标注的扰动数据集（PANDA）是否能够训练出质量高于启发式规则系统的人工神经扰动模型？

主要发现

• 在人口统计扰动语料上预训练的语言模型（如FairBERTa）在下游任务中表现出显著提升的公平性，且未造成性能下降。
• 在扰动增强的GLUE数据集上微调模型（fairtuning）所得到的模型，在平均意义上比在原始未扰动数据上微调的模型更公平。
• 经人工评估验证，神经扰动模型在生成自然且语义保持的扰动文本方面优于启发式替代方法。
• fairscore指标成功量化了模型对人口统计扰动的鲁棒性，并在多个GLUE任务中经fairtuning后显示出显著改进。
• 初步验证发现，每项任务中仅约4–5个样本（平均25个样本中的比例）在扰动后出现标签不一致，表明在大多数情况下标签不变性假设成立。
• 本研究证明，通过神经化人口统计扰动进行数据层面增强，是减少NLP模型偏见的一种可行且有效策略。