[论文解读] Towards Fair Machine Learning Software: Understanding and Addressing Model Bias Through Counterfactual Thinking

Zichong Wang, Zhou Yang+2 more|arXiv (Cornell University)|Feb 16, 2023

Adversarial Robustness in Machine Learning被引用 14

一句话总结

本研究提出 CFSA，一种对因果公平框架，识别并移除偏见数据，以联合提升 ML 模型的公平性和性能，在八个真实世界数据集和十个基准任务上得到验证。在84.6%的情形中超过最先进基线。

ABSTRACT

The increasing use of Machine Learning (ML) software can lead to unfair and unethical decisions, thus fairness bugs in software are becoming a growing concern. Addressing these fairness bugs often involves sacrificing ML performance, such as accuracy. To address this issue, we present a novel counterfactual approach that uses counterfactual thinking to tackle the root causes of bias in ML software. In addition, our approach combines models optimized for both performance and fairness, resulting in an optimal solution in both aspects. We conducted a thorough evaluation of our approach on 10 benchmark tasks using a combination of 5 performance metrics, 3 fairness metrics, and 15 measurement scenarios, all applied to 8 real-world datasets. The conducted extensive evaluations show that the proposed method significantly improves the fairness of ML software while maintaining competitive performance, outperforming state-of-the-art solutions in 84.6% of overall cases based on a recent benchmarking tool.

研究动机与目标

• 在不牺牲性能的前提下，激发解决 ML 软件中的公平性漏洞的必要性。
• 提出一个对因果公平框架（CFSA），用于识别并移除训练数据中编码的偏见。
• 通过将偏见感知模型与以准确性为导向的模型进行集成训练，来平衡公平性与准确性。
• 开发一种公平数据综合方法，在去偏与扩增过程中保持类别平衡。

提出的方法

• 为每个实例定义对因果偏见测试，以在敏感属性变更时评估偏见。
• 构造对因果偏见列表（CBList），按其对模型偏置的潜在影响对有偏见的实例进行排序。
• 通过对前位偏见实例进行欠采样以满足 We Are All Equal (WAE) 原则，来平衡偏置表示。
• 通过移除不符合对因果公平性标准的实例并在需要时合成数据来纠正标签偏差。
• 引入一个公平合成过程，按敏感属性和类别聚类，然后在子组内聚类并生成平衡的新样本。
• 在原始数据上训练一个以准确性为导向的模型，在去偏数据上训练一个偏向公平性的模型，然后以加权平均方式对它们的预测进行集成。

Figure 1. All datasets exhibit an imbalanced distribution concerning the sensitive attribute and class label.

实验结果

研究问题

• RQ1 如何利用对因果思维来识别和排序偏置训练实例？
• RQ2 在 CBList 指引下的去偏能否在不牺牲性能的同时提升公平性？
• RQ3 通过集成将偏向公平性的模型与以准确性为导向的模型结合，是否能带来更好的公平性-准确性权衡？
• RQ4 公平数据综合在在提升公平性的同时保持类别平衡方面有多有效？

主要发现

• CFSA 使用 CBTest 和 CBList 来识别偏倚数据，在总体案例中的84.6%优于最先进基线。
• CFSA 在8个真实世界数据集和10个基准任务中提升公平性，同时保持具有竞争力的性能。
• 该方法与模型无关，在多种模型类型和偏见类型（种族、性别、年龄）上都有效。
• 将偏向公平性的模型与以准确性为导向的模型的输出进行集成，带来比 MAAT 风格集成更好的公平性-准确性权衡。
• 公平数据合成有助于维持类别平衡，并在训练中加入后进一步提升公平性和性能。

Figure 2. The overall framework of CFSA: (a) Biased dataset; (b) Counterfactual fairness test; (c) Debiased dataset; (d) Fairness-oriented training; (e) Performance-driven training; (f) Ensemble prediction.