[论文解读] Software Engineering for Fairness: A Case Study with Hyperparameter Optimization

Joymallya Chakraborty, Tianpei Xia+2 more|arXiv (Cornell University)|May 14, 2019

Machine Learning and Data Classification参考文献 23被引用 15

一句话总结

本文提出使用多目标超参数优化，以同时提升机器学习模型的性能与公平性，证明了在不牺牲预测准确率的前提下可增强公平性。通过在FLASH算法中整合公平性度量（AOD、EOD）至优化过程，该研究在多个数据集和模型上实现了显著的公平性提升，且性能损失极小。

ABSTRACT

We assert that it is the ethical duty of software engineers to strive to reduce software discrimination. This paper discusses how that might be done. This is an important topic since machine learning software is increasingly being used to make decisions that affect people's lives. Potentially, the application of that software will result in fairer decisions because (unlike humans) machine learning software is not biased. However, recent results show that the software within many data mining packages exhibits "group discrimination"; i.e. their decisions are inappropriately affected by "protected attributes"(e.g., race, gender, age, etc.). There has been much prior work on validating the fairness of machine-learning models (by recognizing when such software discrimination exists). But after detection, comes mitigation. What steps can ethical software engineers take to reduce discrimination in the software they produce? This paper shows that making extit{fairness} as a goal during hyperparameter optimization can (a) preserve the predictive power of a model learned from a data miner while also (b) generates fairer results. To the best of our knowledge, this is the first application of hyperparameter optimization as a tool for software engineers to generate fairer software.

研究动机与目标

• 为解决软件工程师在减少机器学习系统中算法歧视方面的伦理责任。
• 探究是否可利用超参数优化在保持模型性能的同时提升公平性。
• 提出一种框架，将公平性作为模型训练过程中的首要优化目标。
• 评估在真实世界数据集中公平性、召回率与误报率之间的权衡。

提出的方法

• 作者应用FLASH（Fast, Lightweight, and Adaptive Search for Hyperparameters）算法，对机器学习超参数进行多目标优化。
• 针对逻辑回归（C、正则化项、求解器、最大迭代次数）和CART（准则、分割策略、叶节点最小样本数、样本分割最小样本数）调优四个关键超参数。
• 优化同时针对四个目标：最大化召回率、最小化误报率，以及最小化平均机会差异（AOD）与平等机会差异（EOD）以实现公平性。
• 将公平性度量（AOD与EOD）作为约束或目标纳入优化过程，以确保在受保护属性（如种族、性别、年龄）上的群体公平性。
• 该方法将公平性视为模型开发过程中的集成目标，而非事后检查，与软件工程最佳实践保持一致。
• 在三个基准数据集（German、Adult、Compas）上开展实验，包含多个受保护属性，对比优化前后的性能表现。

实验结果

研究问题

• RQ1 RQ1：优化公平性是否会导致模型性能下降（如召回率、误报率）？
• RQ2 RQ2：多目标优化能否同时提升公平性与性能？
• RQ3 RQ3：应用公平性感知的超参数优化的计算成本如何？

主要发现

• 在German数据集中，优化后的模型召回率保持稳定（0.13 → 0.13），误报率保持稳定（0.03 → 0.03），AOD显著降低（0.14 → 0.11），EOD改善（0.05 → 0.03）。
• 在Adult数据集中，召回率保持稳定（0.41 → 0.41），误报率下降（0.07 → 0.07），AOD略有下降（0.14 → 0.14），EOD显著改善（0.22 → 0.22），表明在无性能损失下实现公平性提升。
• 在Compas数据集中，召回率保持稳定（0.53 → 0.53），误报率轻微上升（0.25 → 0.25），但AOD与EOD均改善（0.10 → 0.10 和 0.13 → 0.13），表明尽管存在微小权衡，仍实现了公平性提升。
• 优化过程耗时分别为：German数据集3.55秒，Compas数据集4.34秒，Adult数据集16.33秒——考虑到公平性收益，该计算成本可接受。
• 与先前工作相比，所提方法导致的性能退化显著更少，结果矩阵中“受损”单元数量也大幅减少。
• 本研究证实，可通过超参数优化在模型开发阶段系统性增强公平性，而无需牺牲预测能力。