[论文解读] What is Fair? Exploring Pareto-Efficiency for Fairness Constraint Classifiers

Alyssa Lees, Ananth Balashankar+2 more|arXiv (Cornell University)|Oct 30, 2019

Ethics and Social Impacts of AI参考文献 35被引用 5

一句话总结

本文提出帕累托高效公平性（PEF），一种公平意识分类框架，通过识别最接近公平超平面的帕累托最优点来优化子群体中的模型性能，从而实现准确率的统一最大化。在UCI数据集上的实证结果表明，PEF在所有群体中的子群体准确率均优于或等于严格公平约束下的表现。

ABSTRACT

The potential for learned models to amplify existing societal biases has been broadly recognized. Fairness-aware classifier constraints, which apply equality metrics of performance across subgroups defined on sensitive attributes such as race and gender, seek to rectify inequity but can yield non-uniform degradation in performance for skewed datasets. In certain domains, imbalanced degradation of performance can yield another form of unintentional bias. In the spirit of constructing fairness-aware algorithms as societal imperative, we explore an alternative: Pareto-Efficient Fairness (PEF). Theoretically, we prove that PEF identifies the operating point on the Pareto curve of subgroup performances closest to the fairness hyperplane, maximizing multiple subgroup accuracy. Empirically we demonstrate that PEF outperforms by achieving Pareto levels in accuracy for all subgroups compared to strict fairness constraints in several UCI datasets.

研究动机与目标

• 解决在数据不平衡数据集中应用严格公平约束时，子群体间性能退化不均的问题。
• 开发一种公平意识分类方法，以最优方式平衡子群体性能而不损害公平性。
• 在子群体准确率的帕累托前沿上识别一个公平且高效的运行点。
• 最小化在公平约束下因性能退化不均而产生的非预期偏差。

提出的方法

• 将公平性建模为子群体准确率上的多目标优化问题，其中公平性定义为对公平超平面的距离。
• 在性能前沿上识别帕累托有效点，以在保持公平性的同时最大化最小子群体准确率。
• 使用约束优化方法，寻找位于帕累托曲线上且最接近公平超平面的模型配置。
• 将该方法应用于标准UCI数据集，以评估公平性与子群体性能之间的权衡。
• 通过敏感子群体间准确率相等性度量，将PEF与严格公平约束进行对比。
• 利用帕累托前沿的几何特性，确保公平性与性能之间的最优权衡。

实验结果

研究问题

• RQ1 在数据不平衡的数据集中，公平意识分类器是否能在所有子群体中实现优于或等于严格公平约束的性能？
• RQ2 识别最接近公平超平面的帕累托最优点是否能带来更均衡的子群体性能？
• RQ3 在子群体准确率与公平性的权衡方面，PEF与现有公平约束相比表现如何？
• RQ4 是否存在理论依据支持将最接近公平超平面的帕累托点选为最优公平性权衡点？

主要发现

• PEF在所有子群体中均实现了帕累托级别的准确率，优于受严格公平度量约束的模型。
• 该方法在帕累托曲线上识别出一个单一运行点，该点在保持公平性的同时最大化最小子群体准确率。
• 在UCI数据集上的实证结果表明，与严格公平约束相比，PEF减少了子群体间性能退化的不平衡性。
• 理论分析证实，PEF在帕累托前沿上选择了最接近公平超平面的公平性优化点。
• PEF为在数据分布不均的数据集中避免性能均匀退化的公平约束提供了一种有原则的替代方案。
• 该方法在公平性与性能的平衡上优于现有方法，尤其在数据类别不平衡的情况下表现更优。