[论文解读] Preventing Fairness Gerrymandering: Auditing and Learning for Subgroup Fairness

Michael Kearns, Seth Neel+2 more|arXiv (Cornell University)|Nov 14, 2017

Ethics and Social Impacts of AI参考文献 11被引用 303

一句话总结

本论文形式化了在丰富子组类别中对子组公平性的审计与学习，证明审计等价于弱无知学习，并提出两个收敛的基于博弈的算法来学习公平分类器。

ABSTRACT

The most prevalent notions of fairness in machine learning are statistical definitions: they fix a small collection of pre-defined groups, and then ask for parity of some statistic of the classifier across these groups. Constraints of this form are susceptible to intentional or inadvertent "fairness gerrymandering", in which a classifier appears to be fair on each individual group, but badly violates the fairness constraint on one or more structured subgroups defined over the protected attributes. We propose instead to demand statistical notions of fairness across exponentially (or infinitely) many subgroups, defined by a structured class of functions over the protected attributes. This interpolates between statistical definitions of fairness and recently proposed individual notions of fairness, but raises several computational challenges. It is no longer clear how to audit a fixed classifier to see if it satisfies such a strong definition of fairness. We prove that the computational problem of auditing subgroup fairness for both equality of false positive rates and statistical parity is equivalent to the problem of weak agnostic learning, which means it is computationally hard in the worst case, even for simple structured subclasses. We then derive two algorithms that provably converge to the best fair classifier, given access to oracles which can solve the agnostic learning problem. The algorithms are based on a formulation of subgroup fairness as a two-player zero-sum game between a Learner and an Auditor. Our first algorithm provably converges in a polynomial number of steps. Our second algorithm enjoys only provably asymptotic convergence, but has the merit of simplicity and faster per-step computation. We implement the simpler algorithm using linear regression as a heuristic oracle, and show that we can effectively both audit and learn fair classifiers on real datasets.

研究动机与目标

• 通过对指数级数量的子组进行审计，避免公平性操纵的必要性进行动机说明。
• 用一组结构化的受保护群体来形式化子组公平性。
• 建立审计与弱无知学习在计算上的等价性。
• 开发可证明收敛性的算法，用于学习在子组方面公平的分类器分布。
• 通过实现拟象博弈（Fictitious Play）算法，在真实数据集上展示实际有效性。

提出的方法

• 定义以子组指示符类别 G 为参考的 SP（统计平等）和 FP（假阳性）子组公平性。
• 表明在相关分布下，对 SP/FP 公平性的审计 D 与对 G 的弱无知学习等价。
• 将子组公平性表述为学习者与审计者之间的双人零和博弈，并将最佳响应问题化简为不知学习或审计 oracle。
• 推导两种算法：(i) 以扰动领导者（FTPL）为基础，配合最佳响应审计者，保证多项式时间收敛到近似纳什均衡；(ii) 双方的拟象博弈（拟象博弈），每步计算更简单、更快，且渐进收敛。
• 实现拟象博弈变体，使用基于回归的启发式作为不知学习 oracle 和审计 oracle，以在真实数据上展示实际效果。

实验结果

研究问题

• RQ1 是否可以在由结构化受保护属性定义的指数级数量子组上强制执行公平性约束？
• RQ2 审计子组公平性与弱无知学习之间的计算关系是什么？
• RQ3 我们能否设计在子组约束下收敛到公平的分类器分布的算法？
• RQ4 博弈论公式是否能为学习子组公平分类器提供实用、收敛的方法？
• RQ5 在具有许多受保护属性的真实数据集上，这些方法的表现如何？

主要发现

• 对 SP 和 FP 子组公平性的审计在计算上等价于在分布 P^D 下对子组类 G 的弱无知学习。
• 在最坏情况下存在不可行性，但来自学习的实用启发式（提升、逻辑回归、SVM 等）可以在真实数据上解决审计问题。
• 提供两种收敛算法：一个基于 FTPL 的多项式时间方法，具有最佳响应审计者；以及一个更简单、渐进收敛的拟象博弈方法。
• FTPL 算法保证对近似纳什均衡的多项式级收敛。
• 拟象博弈算法在真实数据集上具有实用性，能够有效审计和学习在18个受保护属性上的线性阈值子组的公平分类器。
• 在真实数据上的实证评估显示，学习具有非平凡误差的子组公平分类器是可行的。