[论文解读] Toward a better trade-off between performance and fairness with kernel-based distribution matching

Flavien Prost, Hai Qian+4 more|arXiv (Cornell University)|Oct 25, 2019

Ethics and Social Impacts of AI被引用 8

一句话总结

本文在 MinDiff 框架内提出了一种基于核函数的分布匹配方法，以改善机器学习中模型性能与公平性之间的权衡。通过用最大均值差异（MMD）替代基于相关性的正则化方法，该方法显著提升了公平性-准确率帕累托前沿，将假阳性率差距降低了高达 80%，同时在真实工业系统中保持了高准确率。

ABSTRACT

As recent literature has demonstrated how classifiers often carry unintended biases toward some subgroups, deploying machine learned models to users demands careful consideration of the social consequences. How should we address this problem in a real-world system? How should we balance core performance and fairness metrics? In this paper, we introduce a MinDiff framework for regularizing classifiers toward different fairness metrics and analyze a technique with kernel-based statistical dependency tests. We run a thorough study on an academic dataset to compare the Pareto frontier achieved by different regularization approaches, and apply our kernel-based method to two large-scale industrial systems demonstrating real-world improvements.

研究动机与目标

• 为解决现实世界机器学习系统中模型性能与公平性之间的平衡挑战。
• 改进现有基于相关性的公平性正则化技术，这些技术无法确保统计独立性。
• 评估并部署一种基于核函数的统计依赖性检验（MMD），作为更有效的公平性正则化方法。
• 展示基于 MMD 的正则化在大规模生产系统中的实际有效性。

提出的方法

• 扩展 MinDiff 框架，使用最大均值差异（MMD）作为公平性正则化损失，以衡量预测概率与子群身份之间的统计依赖性。
• 使用通用核函数（高斯核或拉普拉斯核）计算 MMD，以比较负样本（Y=0）上各子群预测分布的差异。
• 将 MinDiff 中基于相关性的损失替换为基于 MMD 的损失，通过梯度下降进行优化。
• 在训练过程中应用 MMD 损失，以最小化子群之间的分布差异，从而在推理阶段无需子群标签即可促进公平性。
• 该方法被应用于二分类器和成对排序推荐系统，利用 MMD 惩罚预测差异与子群归属之间的依赖关系。
• 超参数 λ 控制主任务损失与公平性正则化之间的权衡，支持帕累托前沿分析。

实验结果

研究问题

• RQ1 基于核函数的分布匹配（MMD）是否能在公平性感知学习中实现比基于相关性的正则化更好的性能-公平性权衡？
• RQ2 与基于相关性的方法相比，MMD 正则化在减少子群间假阳性率差距方面表现如何？
• RQ3 基于 MMD 的 MinDiff 是否能在不降低主任务性能的前提下，有效部署于大规模工业机器学习系统中？
• RQ4 在实际应用中，核函数的选择（如高斯核与拉普拉斯核）是否显著影响公平性-准确率权衡？

主要发现

• 基于 MMD 的 MinDiff 方法显著优于基于相关性的正则化方法，将 FPR 差距降低至 0.01 以下，同时保持准确率高于 83%。
• 在学术数据集上，MMD 将 FPR 差距从 0.14 降低至 0.02，优于基于相关性的方法（后者无法将差距降至 0.02 以下）。
• 在生产分类器系统中，与基于相关性的基线相比，MMD 将 FPR 比例差距降低了 45%，且对主任务性能无显著影响。
• 在推荐系统中，与基于相关性的 MinDiff 方法相比，MMD 将成对排序准确率的总差距降低了 65%，而基于相关性的方法仅降低了 60%。
• 核函数的选择（高斯核或拉普拉斯核）对性能影响极小，表明对核函数选择具有鲁棒性。
• 在线实验验证了基于 MMD 的特征对整体系统性能无显著影响，证实了其在实际部署中的可行性。