[论文解读] Software Fairness: An Analysis and Survey

Ezekiel Soremekun, Mike Papadakis+2 more|arXiv (Cornell University)|May 18, 2022

Ethics and Social Impacts of AI被引用 9

一句话总结

本文对164篇关于基于学习的软件系统公平性的研究进行了全面分析，按公平性度量、任务类型、分析方法和访问级别（黑盒/白盒/灰盒）对方法进行分类。研究揭示了关键缺口——尤其在公平性规范、交叉性/序列性公平性、非结构化数据（如文本、图像）以及白盒事前处理技术方面——突出了在基于政策和人机协同的偏差缓解方面尚未充分探索的挑战。

ABSTRACT

In the last decade, researchers have studied fairness as a software property. In particular, how to engineer fair software systems? This includes specifying, designing, and validating fairness properties. However, the landscape of works addressing bias as a software engineering concern is unclear, i.e., techniques and studies that analyze the fairness properties of learning-based software. In this work, we provide a clear view of the state-of-the-art in software fairness analysis. To this end, we collect, categorize and conduct an in-depth analysis of 164 publications investigating the fairness of learning-based software systems. Specifically, we study the evaluated fairness measure, the studied tasks, the type of fairness analysis, the main idea of the proposed approaches, and the access level (e.g., black, white, or grey box). Our findings include the following: (1) Fairness concerns (such as fairness specification and requirements engineering) are under-studied; (2) Fairness measures such as conditional, sequential, and intersectional fairness are under-explored; (3) Unstructured datasets (e.g., audio, image, and text) are barely studied for fairness analysis; and (4) Software fairness analysis techniques hardly employ white-box, in-processing machine learning (ML) analysis methods. In summary, we observed several open challenges including the need to study intersectional/sequential bias, policy-based bias handling, and human-in-the-loop, socio-technical bias mitigation.

研究动机与目标

• 澄清软件工程中公平性的现状，特别是基于学习的系统中的公平性。
• 识别在公平性规范、需求工程和偏差缓解方面研究不足的领域。
• 分析现有文献中公平性度量、任务和分析技术的分布情况。
• 评估不同访问级别（黑盒、白盒、灰盒）在公平性分析中的普遍性和有效性。
• 突出在处理交叉性、序列性和社会技术性偏差方面的开放性挑战。

提出的方法

• 系统性地收集并分类164篇关于基于学习的软件系统公平性的出版物。
• 根据公平性度量（例如，人口均等性、机会均等性）、任务类型（例如，分类、自然语言处理）和分析方法对研究进行分类。
• 按访问级别对分析技术进行分类：黑盒（输入-输出）、灰盒（部分模型访问）、白盒（完整模型检查）。
• 深入分析所提出公平性技术的核心思想，包括预处理、事前处理和事后处理方法。
• 通过主题分析和定量分析识别文献中的趋势与缺口。
• 重点关注尚未充分探索的领域，如序列性和交叉性公平性、非结构化数据（音频、图像、文本）以及事前处理机器学习技术。

实验结果

研究问题

• RQ1 在软件公平性研究中，最常使用的公平性度量是什么？哪些度量被研究得较少？
• RQ2 在公平性分析中，哪些软件任务（如自然语言处理、计算机视觉）被最频繁研究？哪些被代表性不足？
• RQ3 在基于学习的系统公平性评估中，白盒、灰盒和黑盒分析技术的普遍性如何？
• RQ4 现有软件公平性文献在多大程度上涉及了公平性规范和需求工程？
• RQ5 在软件公平性中，缓解交叉性、序列性和基于政策的偏差方面，关键的开放性挑战是什么？

主要发现

• 公平性规范和需求工程等公平性相关问题在文献中显著研究不足。
• 尽管在现实世界公平性应用中具有重要意义，条件公平性、序列公平性和交叉性公平性等公平性度量仍被研究得较少。
• 尽管在机器学习系统中普遍存在，音频、图像和文本等非结构化数据类型在公平性分析中却很少被研究。
• 在公平性分析中，极少使用白盒事前处理机器学习技术，表明在模型层面干预策略方面存在明显缺口。
• 在基于政策的偏差处理和人机协同方法以实现社会技术性公平缓解方面，研究明显缺乏。
• 大多数公平性分析仍为黑盒分析，限制了对模型行为和偏差传播机制的深入理解。