[论文解读] Re-contextualizing Fairness in NLP: The Case of India

Shaily Bhatt, Sunipa Dev+3 more|arXiv (Cornell University)|Sep 25, 2022

Hate Speech and Cyberbullying Detection被引用 7

一句话总结

本文通过识别模型和数据中基于地区、宗教、种姓和方言的偏见，重新审视了印度的NLP公平性问题，引入了印度特定的评估资源，并提出了一个整合社会背景、技术缺口与印度文化价值观的整体研究议程。研究揭示了情感模型中的显著预测偏见以及数据和模型中的刻板印象编码，提出了一套可适配其他非西方地缘文化背景的框架。

ABSTRACT

Recent research has revealed undesirable biases in NLP data and models. However, these efforts focus on social disparities in West, and are not directly portable to other geo-cultural contexts. In this paper, we focus on NLP fair-ness in the context of India. We start with a brief account of the prominent axes of social disparities in India. We build resources for fairness evaluation in the Indian context and use them to demonstrate prediction biases along some of the axes. We then delve deeper into social stereotypes for Region andReligion, demonstrating its prevalence in corpora and models. Finally, we outline a holistic research agenda to re-contextualize NLP fairness research for the Indian context, ac-counting for Indian societal context, bridging technological gaps in NLP capabilities and re-sources, and adapting to Indian cultural values. While we focus on India, this framework can be generalized to other geo-cultural contexts.

研究动机与目标

• 为解决非西方社会（尤其是印度多元且多语言的语境）在NLP中缺乏情境特定的公平性研究问题。
• 识别并实证证明在印度关键社会差异轴线（如地区、宗教、种姓和方言）上的预测偏见。
• 构建并发布用于印度NLP公平性评估的精选资源，包括一个刻板印象数据集和扰动基准。
• 提出一个综合研究议程，整合印度社会结构、低资源语言的技术局限性，以及如恢复性正义等文化价值观。
• 确保NLP中的公平性干预措施不与印度法律和伦理规范（如配额制度和非平等主义正义框架）相冲突。

提出的方法

• 对预训练语言模型进行扰动分析，以测试其对输入提示中地区、宗教和种姓相关身份标记的敏感性。
• 开发一种以差异为中心的DisCo（Disparity-Centric）分析框架，利用印度特定的精选数据集和语言代理进行偏见评估。
• 创建一个刻板印象数据集，通过受控语言刺激，人工标注社会类别（如宗教、地区）与刻板印象特征之间的关联。
• 结合英文和印度语言语料库，检测并分析训练数据和模型输出中社会刻板印象的普遍性。
• 将西方公平性评估框架调整为与印度社会规范保持一致，包括恢复性正义和基于社区的公平性模型。
• 提出一个以社会背景、技术能力缺口和与印度规范及法律框架的价值对齐为核心的三分法研究议程。

实验结果

研究问题

• RQ1 印度的NLP模型在地区、宗教、种姓和方言等轴向上如何表现出预测偏见？
• RQ2 社会刻板印象（尤其是关于宗教和地区的刻板印象）在印度NLP数据集和模型中在多大程度上被编码？
• RQ3 现有公平性评估资源在应用于印度语境时存在哪些局限性，如何改进？
• RQ4 如何使NLP的公平性研究重新语境化，以与印度社会价值观（如恢复性正义和配额制度）保持一致？
• RQ5 多语言性和迁移学习对印度NLP系统中偏见的传播与缓解有何影响？

主要发现

• 扰动分析显示，情感模型的预测对输入文本中的地区、宗教和种姓身份标记表现出显著敏感性，表明模型行为中存在强烈偏见。
• DisCo分析表明，若无印度特定的资源，现有公平性评估工具无法检测出印度语境下的偏见，凸显了本地化基准的必要性。
• 新创建的刻板印象数据集表明，印度的训练数据和预训练模型均表现出对有害的、基于地区和宗教的刻板印象的偏好编码。
• 研究发现，印度语言中的方言特征显著影响模型预测，表明语言多样性是NLP系统中偏见的关键轴线。
• 实证结果表明，一种语言（如英语）中的偏见缓解措施可能无法有效迁移到低资源印度语言中，凸显了多语言公平性研究的必要性。
• 本研究识别出当前公平性框架中的一个关键缺口：它们通常强加西方规范性价值观，可能与印度的恢复性正义模式和法律框架产生冲突。