[论文解读] Putting Fairness Principles into Practice: Challenges, Metrics, and Improvements

Alex Beutel, Jilin Chen+7 more|arXiv (Cornell University)|Jan 14, 2019

Ethics and Social Impacts of AI参考文献 34被引用 26

一句话总结

本文提出了条件相等性（conditional equality）这一公平性度量指标，用于考虑不同群体之间的分布差异，并提出绝对相关性正则化（absolute correlation regularization）这一稳定训练技术，以提升生产环境中机器学习系统的机会均等性。实验表明，在两个敏感群体中，误报率差距显著降低，且绝对相关性正则化在稳定性和实用性方面优于对抗性训练。

ABSTRACT

As more researchers have become aware of and passionate about algorithmic fairness, there has been an explosion in papers laying out new metrics, suggesting algorithms to address issues, and calling attention to issues in existing applications of machine learning. This research has greatly expanded our understanding of the concerns and challenges in deploying machine learning, but there has been much less work in seeing how the rubber meets the road. In this paper we provide a case-study on the application of fairness in machine learning research to a production classification system, and offer new insights in how to measure and address algorithmic fairness issues. We discuss open questions in implementing equality of opportunity and describe our fairness metric, conditional equality, that takes into account distributional differences. Further, we provide a new approach to improve on the fairness metric during model training and demonstrate its efficacy in improving performance for a real-world product

研究动机与目标

• 解决在数据分布因敏感群体而异的生产机器学习系统中衡量公平性的挑战。
• 开发一种实用的公平性度量指标，明确考虑不同群体间样本难度的差异。
• 提出一种稳定且可训练的正则化方法，在模型训练过程中提升机会均等性。
• 在真实世界分类系统中评估并展示公平性改进的有效性。

提出的方法

• 提出条件相等性，一种在显式建模群体间分布差异的同时评估机会均等性的公平性度量指标。
• 引入绝对相关性正则化，一种通过最小化模型预测结果与敏感属性之间绝对相关性来实现的训练技术。
• 采用带有独立头的对抗性训练来预测敏感属性，以促进不变表示的学习。
• 仅使用负样本（y < τ）进行对抗性训练，以直接针对降低误报率进行优化。
• 通过将正则化应用于一个群体并测量其对另一群体的影响，利用迁移学习评估跨群体公平性的提升。
• 结合更大的模型架构与正则化技术，在不牺牲准确率的前提下提升公平性。

实验结果

研究问题

• RQ1 如何设计公平性度量指标，以在现实数据中考虑不同敏感群体之间的分布差异？
• RQ2 当数据采样和群体分布发生变化时，实际测量机会均等性面临哪些实际挑战？
• RQ3 在生产环境中，正则化技术是否能比对抗性训练更稳定地提升公平性度量指标？
• RQ4 对一个群体提升公平性，能在多大程度上传导至其他群体？
• RQ5 如何在不降低整体模型性能的前提下，同时提升多个敏感群体的公平性？

主要发现

• 条件相等性通过考虑群体间样本难度的差异，有效捕捉了公平性，使公平性评估更加明确且稳健。
• 绝对相关性正则化显著降低了误报率差距——将差距从1.44×降低至1.05×，同时保持了训练的稳定性。
• 对抗性训练将FPR差距从1.44×降低至1.04×，但在实际应用中稳定性不如绝对相关性正则化。
• 对群体1应用绝对相关性正则化后，群体2的FPR差距从1.37×略微降低至1.31×，表明公平性收益存在部分传递。
• 对两个群体同时应用正则化后，群体2的FPR差距降低至1.11×，证明了多群体公平性改进的有效性。
• 仅使用更大的模型架构即可提升公平性，表明表示能力在降低偏差方面具有重要作用。