[论文解读] Parametric Fairness with Statistical Guarantees

François Hu, Philipp Ratz+1 more|arXiv (Cornell University)|Oct 31, 2023

Ethics and Social Impacts of AI被引用 4

一句话总结

本文提出使用Wasserstein中位数的参数化公平解决方案，以在融入特定领域分布知识的同时强制实现人口均等性，确保统计保障、稳定性和对测量误差及潜在敏感变量的鲁棒性。该方法在预测准确性损失最小的情况下实现了更优的公平性，尤其在数据污染或存在隐藏偏差的情况下表现更佳。

ABSTRACT

Algorithmic fairness has gained prominence due to societal and regulatory concerns about biases in Machine Learning models. Common group fairness metrics like Equalized Odds for classification or Demographic Parity for both classification and regression are widely used and a host of computationally advantageous post-processing methods have been developed around them. However, these metrics often limit users from incorporating domain knowledge. Despite meeting traditional fairness criteria, they can obscure issues related to intersectional fairness and even replicate unwanted intra-group biases in the resulting fair solution. To avoid this narrow perspective, we extend the concept of Demographic Parity to incorporate distributional properties in the predictions, allowing expert knowledge to be used in the fair solution. We illustrate the use of this new metric through a practical example of wages, and develop a parametric method that efficiently addresses practical challenges like limited training data and constraints on total spending, offering a robust solution for real-life applications.

研究动机与目标

• 解决无监督后处理公平方法的局限性，这些方法会丢弃领域知识，且无法处理交叉性或潜在偏差。
• 确保预测的稳定性与从不公平到公平模型的平滑过渡，尤其在工资设定等固定预算的实际应用中。
• 开发一种参数化框架，将专家知识嵌入公平预测分布，超越标准的群体均等性。
• 为参数化公平解决方案提供公平性、风险和预算约束的理论保障。
• 评估在数据错误和潜在敏感变量下的鲁棒性，其中标准非参数方法会失效。

提出的方法

• 使用Wasserstein中位数计算公平预测，使预测结果在满足公平约束的同时，与基础模型的距离最小化。
• 对公平输出分布施加参数化形状约束（如正态分布、Gumbel分布、Beta分布），以嵌入领域知识。
• 应用Chzhen等人（2020c）提出的闭式最优传输方案，以提高计算效率并实现无缝集成。
• 使用基于训练数据估计的参数化参数的插值估计器，生成公平预测。
• 引入基于Wasserstein距离的风险-公平性权衡度量，以支持多周期公平性过渡。
• 利用参数化形式校正训练数据中的测量误差，避免依赖输入特征或迁移学习。

Figure 1: Base predictors are shown in blue and orange, while the optimal fair predictor is in green. In this example, integrating fairness considerations with domain knowledge effectively mitigates intersectional fairness issues. Here, $g^{*}$ corresponds to the Bayes rule, while $g^{*(\text{fair})

实验结果

研究问题

• RQ1 在存在潜在敏感变量的情况下，参数化约束是否能提升公平性，同时保持预测准确性？
• RQ2 通过参数化形状约束整合领域知识，对后处理公平方法的公平性和稳定性有何影响？
• RQ3 当训练数据中存在测量误差时，参数化公平模型能在多大程度上减少偏差？
• RQ4 参数化公平方法能否在最小化整体分配扰动的前提下，实现从不公平到公平模式的平滑过渡？
• RQ5 在真实数据集中，不同参数族（如正态分布、Beta分布、Gumbel分布）对公平性-准确性权衡有何影响？

主要发现

• 在训练期间未观测到潜在变量的情况下，与非参数基线相比，参数化公平方法将潜在敏感变量上的不公平性降低了最多25%。
• 在ACSIncome数据集上，当训练数据中存在75%的测量误差时，参数化方法相比未经校正的基线，将均方误差（MSE）降低了16.5%。
• 在folktables ACSPublicCoverage任务中，参数化估计器在ε=0.75时达到0.536的F1分数，优于非参数方法（0.535），同时保持了公平性。
• 该方法保持了整体预测的稳定性，在公平性过渡过程中平均得分保持一致，这对工资调整等预算受限的应用至关重要。
• 理论保障表明，参数化估计器收敛至最优值，且相对于最优情况，总预算需求有界。
• 在存在潜在或损坏数据的情况下，参数化方法在保持或略微降低预测准确性（例如，某些情况下MSE增加约0.01）的同时，显著提升了公平性。

Figure 2: Approximate fairness between two gaussian distributions and their barycenter