[论文解读] Promoting Fairness through Hyperparameter Optimization

André F. Cruz, Pedro Saleiro+3 more|arXiv (Cornell University)|Mar 23, 2021

Machine Learning and Data Classification参考文献 38被引用 6

一句话总结

本文提出一种公平性感知的超参数优化（HO）方法，作为即插即用的解决方案，在不增加额外训练成本的前提下减少机器学习中的算法偏见。通过将随机搜索、TPE 和 Hyperband 扩展为联合优化预测性能与公平性的方法，该方法在真实世界反欺诈检测数据集上实现了平均 111% 的公平性提升，性能仅下降 6%。

ABSTRACT

Considerable research effort has been guided towards algorithmic fairness but real-world adoption of bias reduction techniques is still scarce. Existing methods are either metric- or model-specific, require access to sensitive attributes at inference time, or carry high development or deployment costs. This work explores the unfairness that emerges when optimizing ML models solely for predictive performance, and how to mitigate it with a simple and easily deployed intervention: fairness-aware hyperparameter optimization (HO). We propose and evaluate fairness-aware variants of three popular HO algorithms: Fair Random Search, Fair TPE, and Fairband. We validate our approach on a real-world bank account opening fraud case-study, as well as on three datasets from the fairness literature. Results show that, without extra training cost, it is feasible to find models with 111% mean fairness increase and just 6% decrease in performance when compared with fairness-blind HO.

研究动机与目标

• 弥合现实世界机器学习流水线中实用且可部署的公平性集成的空白。
• 在不增加额外训练或计算成本的前提下，减轻机器学习模型中的算法偏见。
• 使机器学习从业者能够利用现有的 HO 工作流，应对公平性与性能之间的权衡。
• 开发一种启发式方法，自动设定 HO 中公平性-性能权衡的权重。
• 在真实世界和基准数据集上展示公平性感知 HO 的有效性。

提出的方法

• 将三种最先进的 HO 算法——随机搜索、树形结构帕尔兹估计器（TPE）和 Hyperband——扩展为公平性感知的变体：公平随机搜索、公平 TPE 和 Fairband。
• 通过加权标量化预测性能与公平性度量，实现多目标优化。
• 提出 FB-auto，一种启发式方法，用于在基于上下文的 bandit 设置中自动确定最优的公平性权重参数。
• 将偏差减少技术（如指数梯度 EG）整合到超参数搜索空间中，以探索提升公平性的配置。
• 根据数据集和任务类型，使用基于均等机会或假阳性率一致性的公平性度量。
• 将该框架应用于大规模银行账户开户反欺诈系统及三个公开的公平性数据集。

实验结果

研究问题

• RQ1 是否可以通过超参数优化在不增加训练成本的前提下显著提升机器学习模型的公平性？
• RQ2 在真实世界和基准数据集上，公平性感知 HO 与标准 HO 在公平性-性能权衡方面表现如何？
• RQ3 启发式方法是否能自动设定基于 bandit 的 HO 设置中的公平性-性能权衡权重？
• RQ4 机器学习模型类型的选择是否会影响 HO 中可实现的公平性-性能权衡？
• RQ5 在任意固定的预测性能水平下，是否存在显著的公平性结果分布，表明存在可利用的权衡？

主要发现

• 在真实世界账户开户反欺诈数据集上，公平性感知 HO 实现了公平性度量平均 111% 的提升，与标准 HO 相比，欺诈召回率仅下降 6%。
• 公平性-性能帕累托前沿显示，在任意给定性能水平下，公平性存在显著差异，表明可在不造成重大性能损失的情况下提升公平性。
• Fairband 和 FairTPE 稳定地识别出位于或接近帕累托前沿的模型，其中 Fairband 在多次运行中表现出更可靠的收敛性。
• 在账户开户反欺诈数据集中，LGBM 模型主导了公平性-性能权衡空间，表明模型类型会影响公平性结果。
• 在 HO 空间中引入如指数梯度（EG）等偏差减少算法可扩展帕累托前沿，但若仅使用这些算法，可能导致次优的权衡。
• 本研究表明，仅优化性能的标准 HO 会无意中选择超参数空间中不公平的模型区域，凸显了公平性感知调优的必要性。