[论文解读] Pareto Efficient Fairness in Supervised Learning: From Extraction to Tracing

Mohammad Mahdi Kamani, Rana Forsati+2 more|arXiv (Cornell University)|Apr 4, 2021

Ethics and Social Impacts of AI参考文献 60被引用 6

一句话总结

本文提出了帕累托高效公平性（PEF），这是一种定义无关的框架，通过将问题建模为双层优化任务，在监督学习中实现公平性与准确性的平衡。该方法提出了一种基于梯度的算法，可保证收敛至帕累托前沿解，从而实现对不同公平性标准和真实世界数据集下公平性与准确性最优权衡的提取与追踪。

ABSTRACT

As algorithmic decision-making systems are becoming more pervasive, it is crucial to ensure such systems do not become mechanisms of unfair discrimination on the basis of gender, race, ethnicity, religion, etc. Moreover, due to the inherent trade-off between fairness measures and accuracy, it is desirable to learn fairness-enhanced models without significantly compromising the accuracy. In this paper, we propose Pareto efficient Fairness (PEF) as a suitable fairness notion for supervised learning, that can ensure the optimal trade-off between overall loss and other fairness criteria. The proposed PEF notion is definition-agnostic, meaning that any well-defined notion of fairness can be reduced to the PEF notion. To efficiently find a PEF classifier, we cast the fairness-enhanced classification as a bilevel optimization problem and propose a gradient-based method that can guarantee the solution belongs to the Pareto frontier with provable guarantees for convex and non-convex objectives. We also generalize the proposed algorithmic solution to extract and trace arbitrary solutions from the Pareto frontier for a given preference over accuracy and fairness measures. This approach is generic and can be generalized to any multicriteria optimization problem to trace points on the Pareto frontier curve, which is interesting by its own right. We empirically demonstrate the effectiveness of the PEF solution and the extracted Pareto frontier on real-world datasets compared to state-of-the-art methods.

研究动机与目标

• 解决算法决策系统中公平性与准确性之间的固有权衡问题。
• 克服现有公平性方法在无法保证帕累托效率或缺乏收敛性保证方面的局限性。
• 提供一种通用的、定义无关的框架，适用于任何明确定义的公平性概念。
• 实现基于用户对公平性与准确性偏好，对帕累托前沿上解的系统性提取与追踪。
• 将帕累托优化的应用范围扩展至公平性以外的多准则学习问题，特别是在非凸设置下的适用性。

提出的方法

• 将增强公平性的分类问题建模为双层优化问题，其中内层问题施加公平性约束，外层问题优化准确性。
• 开发一种基于梯度的下降算法，可严格证明在凸与非凸目标下收敛至帕累托有效解。
• 通过保持公平性语义的变换，将任意公平性概念（如人口均等、机会均等）简化为PEF框架。
• 提出一种方法，通过调整公平性与准确性目标之间的偏好权重，实现对帕累托前沿上任意点的追踪。
• 利用斯塔克尔贝格博弈结构建模双层优化过程中的领导者-追随者动态。
• 通过仔细分析双层公式中的最优性条件，确保理论上的收敛性保证。

实验结果

研究问题

• RQ1 能否设计一种统一的公平性框架，在不损害准确性的情况下，确保在多种公平性定义下均实现帕累托效率？
• RQ2 如何高效计算并追踪在公平性-准确性权衡优化中帕累托前沿上的解？
• RQ3 基于梯度的方法在非凸目标下的双层公平性优化中表现出怎样的收敛行为？
• RQ4 在保持语义完整性的前提下，现有公平性概念在多大程度上可被简化为PEF框架？
• RQ5 在真实世界数据集上，所提出方法在公平性-准确性权衡方面与最先进公平性感知模型相比表现如何？

主要发现

• 所提出的PEF框架可保证在凸与非凸公平性目标下收敛至帕累托有效解，确保公平性与准确性之间的最优权衡。
• 该方法可系统性地提取并追踪整个帕累托前沿上的解，使决策者能够根据其偏好的公平性-准确性平衡选择模型。
• 在真实世界数据集上的实证评估表明，PEF在实现更高公平性的同时，准确率未出现显著下降，优于最先进方法。
• 该框架具有定义无关性，即任何明确定义的公平性概念均可被简化为PEF，使其在各类公平性标准下具有广泛适用性。
• 双层优化公式通过基于梯度的精炼方法成功处理了非凸公平性约束，避免了对启发式松弛的依赖。
• 该算法在多组与多标签公平性设置下表现出鲁棒性，超越了二值敏感特征与二分类任务的限制。