[论文解读] There is no trade-off: enforcing fairness can improve accuracy

Subha Maity, Debarghya Mukherjee+2 more|arXiv (Cornell University)|May 4, 2021

Explainable Artificial Intelligence (XAI)参考文献 7被引用 4

一句话总结

本文挑战了人们普遍认为公平性与模型性能相互冲突的观点，表明当训练数据中的偏差源于抽样不平衡时，强制实施公平性反而能提升准确率。通过使模型预测与无偏测试数据上的贝叶斯决策规则对齐，公平性约束能够纠正数据偏差并提升泛化能力。

ABSTRACT

One of the main barriers to the broader adoption of algorithmic fairness in machine learning is the trade-off between fairness and performance of ML models: many practitioners are unwilling to sacrifice the performance of their ML model for fairness. In this paper, we show that this trade-off may not be necessary. If the algorithmic biases in an ML model are due to sampling biases in the training data, then enforcing algorithmic fairness may improve the performance of the ML model on unbiased test data. We study conditions under which enforcing algorithmic fairness helps practitioners learn the Bayes decision rule for (unbiased) test data from biased training data. We also demonstrate the practical implications of our theoretical results in real-world ML tasks.

研究动机与目标

• 调查在无偏测试数据上强制实施算法公平性是否能提升模型性能。
• 分析在何种条件下公平性约束有助于从有偏训练数据中恢复贝叶斯决策规则。
• 展示在现实世界机器学习任务中强制实施公平性的实际优势。
• 挑战公平性必然以性能为代价的普遍假设。

提出的方法

• 作者分析当训练数据存在抽样偏差时，公平性约束对模型学习的影响。
• 他们推导出在何种条件下强制实施公平性能使模型在无偏测试数据上更接近贝叶斯最优决策规则。
• 该方法涉及对有偏抽样导致的数据分布偏移如何被公平性约束纠正的理论分析。
• 该方法运用统计学习理论，证明强制实施公平性可降低无偏数据上的泛化误差。
• 通过在现实世界机器学习任务上的实证评估验证了该框架。
• 核心思想是公平性约束作为一种正则化手段，可纠正数据偏差，从而提升泛化能力。

实验结果

研究问题

• RQ1 在何种条件下，强制实施公平性能提升无偏测试数据上的模型准确率？
• RQ2 当训练数据因抽样导致有偏时，公平性约束是否有助于恢复贝叶斯决策规则？
• RQ3 在存在数据抽样偏差的情况下，强制实施公平性是否能降低泛化误差？
• RQ4 与标准训练相比，公平性实施在无偏数据上的性能表现如何？
• RQ5 在现实世界机器学习应用中，使用公平性约束纠正数据偏差具有何种实际影响？

主要发现

• 当训练数据包含抽样偏差时，强制实施公平性能提升模型准确率，从而反驳了公平性与性能存在权衡的假设。
• 公平性约束通过纠正数据分布偏移，帮助模型在无偏测试数据上收敛至贝叶斯决策规则。
• 准确率的提升源于公平性作为一种正则化形式，减轻了有偏抽样的影响。
• 现实任务中的实证结果证实，公平性实施可增强无偏测试集上的性能。
• 推导出公平性提升准确率的理论条件，并表明这些条件在现实场景中具有实际相关性。
• 本研究证明，公平性并非成本，而是一种纠正机制，可在数据有偏时增强模型的泛化能力。