[论文解读] The Authors Matter: Understanding and Mitigating Implicit Bias in Deep Text Classification

Haochen Liu, Wei Jin+3 more|arXiv (Cornell University)|May 6, 2021

Topic Modeling参考文献 30被引用 4

一句话总结

本文提出 Debiased-TC，一种模型无关的框架，通过训练模型关注基于内容的特征而非与作者相关的语言模式，从而减轻深度文本分类器中的隐性偏见。通过引入显著性选择层和优化策略，该方法在三个真实世界数据集上显著降低了与作者人口统计特征相关的不公平预测，同时保持或略微提升分类准确率。

ABSTRACT

It is evident that deep text classification models trained on human data could be biased. In particular, they produce biased outcomes for texts that explicitly include identity terms of certain demographic groups. We refer to this type of bias as explicit bias, which has been extensively studied. However, deep text classification models can also produce biased outcomes for texts written by authors of certain demographic groups. We refer to such bias as implicit bias of which we still have a rather limited understanding. In this paper, we first demonstrate that implicit bias exists in different text classification tasks for different demographic groups. Then, we build a learning-based interpretation method to deepen our knowledge of implicit bias. Specifically, we verify that classifiers learn to make predictions based on language features that are related to the demographic attributes of the authors. Next, we propose a framework Debiased-TC to train deep text classifiers to make predictions on the right features and consequently mitigate implicit bias. We conduct extensive experiments on three real-world datasets. The results show that the text classification models trained under our proposed framework outperform traditional models significantly in terms of fairness, and also slightly in terms of classification performance.

研究动机与目标

• 探究深度文本分类模型中隐性偏见的存在及其作用机制，即当文本中未提及身份信息时，预测仍受到作者人口统计属性的不公平影响。
• 理解深度模型如何学习并利用与作者人口统计相关的语言特征，从而导致偏见预测。
• 开发一种模型无关的框架，在训练过程中纠正有偏的特征选择，从而减少隐性偏见。
• 评估所提方法在提升公平性的同时保持或增强分类性能的有效性。

提出的方法

• 提出一种基于学习的解释方法，以识别模型基于作者人口统计属性做出有偏预测时所使用的语言特征（例如方言词汇如 'goin' 或 'yup'）。
• 设计一个显著性选择层，明确引导模型仅关注与内容相关的特征，过滤掉与人口统计相关联的语言线索。
• 引入一种可微分的优化方法，在反向传播过程中训练分类器优先关注正确的、基于内容的特征，从而减少对有偏信号的依赖。
• 确保框架具有模型无关性，可与任何深度文本分类器（如 CNN 或 Transformer）集成。
• 将数据增强和实例加权作为基线进行比较，但重点在于基于学习的纠正方法，而非数据重平衡。

实验结果

研究问题

• RQ1 在深度文本分类器中是否存在隐性偏见，即当文本中未出现身份术语时，模型预测仍受作者人口统计属性的影响？
• RQ2 模型学习到哪些特定的语言特征与作者人口统计相关联，这些特征如何导致不公平预测？
• RQ3 基于学习的框架能否有效识别并纠正模型在训练过程中对有偏语言线索的依赖？
• RQ4 与现有去偏方法相比，所提出的 Debiased-TC 框架在公平性和分类性能方面表现如何？

主要发现

• 隐性偏见存在于深度文本分类器中：即使情感为正面，模型对使用方言词汇（如 'yup' 和 'goin'）的非裔美国作者所写文本仍会赋予较低的情感评分。
• 显著性解释方法证实，模型学习到将与人口统计相关联的语言特征（例如，'goin' 与非裔美国作家相关）与错误标签关联，从而导致不公平预测。
• Debiased-TC 在三个真实世界数据集上显著降低了隐性偏见，且在不同人口统计群体中均观察到准确率和 F1 分数的公平性提升。
• 该框架保持或略微提升分类性能，Debiased-TC 在 IMDB 数据集上达到 63.68% 的准确率和 74.05% 的 F1 分数，略优于基线模型，并与数据增强基线具有竞争力。
• 该方法在公平性指标上优于传统去偏技术（如数据增强和实例加权），尤其在数据不平衡或无法进行身份术语替换的情况下表现更优。