[论文解读] Robust Optimization for Fairness with Noisy Protected Groups

Serena Wang, Wenshuo Guo+4 more|arXiv (Cornell University)|Feb 21, 2020

Ethics and Social Impacts of AI参考文献 52被引用 41

一句话总结

本文分析在受保护组标签有噪声时如何强制基于组的公平，并提出两种鲁棒优化方法（DRO 和软分组分配），在保证对真实组的公平性同时最小化训练损失。经验性案例研究表明这些方法在噪声增加时优于简单方法，但代价是比天真方法更高的错误率。

ABSTRACT

Many existing fairness criteria for machine learning involve equalizing some metric across protected groups such as race or gender. However, practitioners trying to audit or enforce such group-based criteria can easily face the problem of noisy or biased protected group information. First, we study the consequences of naively relying on noisy protected group labels: we provide an upper bound on the fairness violations on the true groups G when the fairness criteria are satisfied on noisy groups $\hat{G}$. Second, we introduce two new approaches using robust optimization that, unlike the naive approach of only relying on $\hat{G}$, are guaranteed to satisfy fairness criteria on the true protected groups G while minimizing a training objective. We provide theoretical guarantees that one such approach converges to an optimal feasible solution. Using two case studies, we show empirically that the robust approaches achieve better true group fairness guarantees than the naive approach.

研究动机与目标

• 动机并形式化二分类中带有噪声的受保护组公平性问题。
• 给出理论界限，展示仅使用噪声组的天真方法的局限性。
• 发展两种鲁棒优化框架（DRO 和软分组分配），在优化损失的同时保证对真实组的公平性。
• 至少为一种方法提供收敛保证，并给出可实际实现的算法。
• 在不同噪声水平下，在 UCI 数据集上对天真方法和鲁棒方法进行经验比较。

提出的方法

• 在训练期间以真实组 G 和噪声组 Ĝ 形式化带有公平性约束的训练。
• 证明在 Ĝ 上强制公平若条件分布之间的全变差距离（TV 距离）有界，则对 G 的违反是有界的（定理1）。
• 引入分布鲁棒优化（DRO），在围绕 Ĝ-分布的 TV-球中界定最坏情况的公平性违反，确保对所有真实组都有 g_j(θ) ≤ 0。
• 提出软分组分配（带软标签的鲁棒公平性），使用从辅助数据估计的噪声模型 P(G=j|Ĝ=k)，将约束表示为 max_w∈W(θ) g_j(θ,w) ≤ 0，并通过拉格朗日方法求解。
• 提供一个带有收敛保证的理想算法，以及一个适用于软分组分配方法的实用基于梯度的算法。
• 讨论实际注意事项，包括损失函数、线性规划子问题及收敛性质。

实验结果

研究问题

• RQ1 在噪声受保护组 Ĝ 上学习到的公平性约束如何与对真实组 的公平性约束相关？
• RQ2 当受保护组标签有噪声时，我们能否就真实组 G 保证公平性？
• RQ3 如何利用 G 与 Ĝ 之间的噪声模型来比天真方法更紧密地执行对真实组的公平？
• RQ4 在不同噪声水平下使用鲁棒公平方法时，准确性（错误率）的权衡是什么？
• RQ5 在现实设置下，DRO 和软分组分配方法是否收敛到可行且最优的解？

主要发现

• 在噪声组 Ĝ 上强制公平若 p_j 与 p̂_j 之间的全变差距离有界（定理1），则对真实组 G 的公平性违反是有界的。
• 仅使用 Ĝ 的天真方法可能导致对 G 的公平性违反随噪声增加而增加；鲁棒方法可降低这一风险。
• 两种鲁棒方法在优化训练损失的同时保证对真实组 G 的公平性： (i) 分布鲁棒优化（DRO）和 (ii) 使用噪声模型 P(G=j|Ĝ) 的软分组分配。
• DRO 通过围绕 Ĝ-分布的基于 TV 距离的不确定性集合提供保守但有原则的界限；软分组分配提供一个较少保守、对模型更有感知的替代方案。
• 在 Adult（机会平等）和 Credit（等量化 Odds）数据集上，鲁棒方法在不同噪声水平下平均实现真实组的公平性，同时测试错误率高于天真方法；软分配（SA）通常比 DRO 的错误率更低。
• DRO 往往比软分配更加保守（错误率更高），尤其是在噪声增加时。