[论文解读] Proxy Fairness

Maya R. Gupta, Andrew Cotter+2 more|arXiv (Cornell University)|Jun 28, 2018

Ethics and Social Impacts of AI被引用 9

一句话总结

本文提出代理公平性（proxy fairness）方法，旨在在无法获取受保护群体标签时提升机器学习模型的公平性。通过在与真实敏感群体相关联的代理群体上优化公平性度量，该方法可提升实际受保护群体的公平性表现——但有效性取决于度量选择及代理群体与真实群体的对齐程度。

ABSTRACT

We consider the problem of improving fairness when one lacks access to a dataset labeled with protected groups, making it difficult to take advantage of strategies that can improve fairness but require protected group labels, either at training or runtime. To address this, we investigate improving fairness metrics for proxy groups, and test whether doing so results in improved fairness for the true sensitive groups. Results on benchmark and real-world datasets demonstrate that such a proxy fairness strategy can work well in practice. However, we caution that the effectiveness likely depends on the choice of fairness metric, as well as how aligned the proxy groups are with the true protected groups in terms of the constrained model parameters.

研究动机与目标

• 解决在训练或推理阶段受保护群体标签不可用时，提升机器学习模型公平性的挑战。
• 探究在代理群体上优化公平性度量是否能带来真实敏感群体公平性的提升。
• 研究代理公平性有效的条件，特别是度量选择与代理群体对齐程度的影响。
• 为真实世界场景中敏感属性数据不可用或受限时提供一种实用的公平性改进策略。

提出的方法

• 将代理群体定义为与真实受保护群体相关联的替代表示，且在数据中可获取。
• 在模型训练或校准过程中，于这些代理群体上优化公平性度量（如相等机会、均等机会等）。
• 利用受代理群体公平性约束的模型参数，间接提升真实敏感群体的公平性。
• 评估不同公平性度量对代理公平性向真实群体迁移的影响。
• 通过参数空间分析与相关性度量，评估代理群体与真实受保护群体之间的对齐程度。
• 将该方法应用于基准数据集与真实世界数据集，以实证验证在数据稀缺条件下的有效性。

实验结果

研究问题

• RQ1 在代理群体上优化公平性是否能带来真实受保护群体公平性的可测量提升？
• RQ2 公平性度量的选择如何影响代理公平性的有效性？
• RQ3 代理群体与真实受保护群体之间的对齐程度在多大程度上影响公平性迁移？
• RQ4 在缺乏受保护属性标签的情况下，代理公平性是否能维持模型性能与实用性？

主要发现

• 当代理群体与真实受保护群体充分对齐时，代理公平性能有效提升真实敏感群体的公平性。
• 代理公平性的有效性高度依赖于优化过程中所选用的公平性度量。
• 在基准数据集与真实世界数据集中，针对代理群体优化公平性的模型，在真实受保护群体上均表现出可测量的公平性指标提升。
• 代理群体与真实群体对齐程度差时，公平性提升微乎其微或毫无改善，凸显了代理质量的重要性。
• 该方法保持了模型性能与实用性，避免了准确率或预测能力的显著损失。
• 参数空间分析表明，来自代理公平性的约束参数能有意义地迁移到真实群体公平性，尤其在度量选择得当时。