[论文解读] Multiaccuracy: Black-Box Post-Processing for Fairness in Classification

Michael P. Kim, Amirata Ghorbani+1 more|arXiv (Cornell University)|May 31, 2018

Explainable Artificial Intelligence (XAI)参考文献 5被引用 27

一句话总结

本文提出 Multiaccuracy Boost，一种黑箱后处理方法，通过迭代修正子群体中的系统性错误，在无需重新训练模型的情况下提升分类的公平性。该方法在少数群体中实现了更高的准确率——即使未显式提供敏感属性——同时保持或提升整体性能。

ABSTRACT

Prediction systems are successfully deployed in applications ranging from disease diagnosis, to predicting credit worthiness, to image recognition. Even when the overall accuracy is high, these systems may exhibit systematic biases that harm specific subpopulations; such biases may arise inadvertently due to underrepresentation in the data used to train a machine-learning model, or as the result of intentional malicious discrimination. We develop a rigorous framework of *multiaccuracy* auditing and post-processing to ensure accurate predictions across *identifiable subgroups*. Our algorithm, MULTIACCURACY-BOOST, works in any setting where we have black-box access to a predictor and a relatively small set of labeled data for auditing; importantly, this black-box framework allows for improved fairness and accountability of predictions, even when the predictor is minimally transparent. We prove that MULTIACCURACY-BOOST converges efficiently and show that if the initial model is accurate on an identifiable subgroup, then the post-processed model will be also. We experimentally demonstrate the effectiveness of the approach to improve the accuracy among minority subgroups in diverse applications (image classification, finance, population health). Interestingly, MULTIACCURACY-BOOST can improve subpopulation accuracy (e.g. for "black women") even when the sensitive features (e.g. "race", "gender") are not given to the algorithm explicitly.

研究动机与目标

• 解决机器学习分类器中对代表性不足子群体产生系统性偏见的问题。
• 开发一种后处理框架，确保在无法访问模型内部结构的情况下，对可识别子群体实现准确预测。
• 在模型以黑箱服务形式部署且重新训练不可行的实际场景中，实现公平性改进。
• 证明多准确率审计可在未向审计者提供敏感属性的情况下，检测并纠正子群体特异性错误。
• 表明针对多准确率的后处理可提升公平性，而不会牺牲整体模型效用。

提出的方法

• 该方法使用一个黑箱分类器 $ f_0 $ 和一个小型标注验证集，用于审计多准确率——即在所有可识别子群体中实现无偏预测。
• 审计算法通过分析预测误差与子群体归属的关系，识别出 $ f_0 $ 存在系统性错误的子群体。
• Multiaccuracy Boost 迭代地对 $ f_0 $ 进行后处理，利用弱学习器修正已识别子群体中的错误，从而提升这些群体的准确率。
• 该算法假设：仅需少量标注数据，即可高效识别出误差率较高的子群体。
• 该框架无需了解敏感属性（如种族、性别）即可检测并纠正子群体中的偏见。
• 在温和假设下可保证收敛，且确保对初始模型已表现良好的子群体性能不会下降。

实验结果

研究问题

• RQ1 是否可采用黑箱后处理方法，在不访问模型内部结构或敏感属性的情况下提升分类的公平性？
• RQ2 当敏感特征未显式提供时，多准确率审计在多大程度上可检测并纠正子群体特异性错误？
• RQ3 针对多准确率的后处理是否可在不降低整体模型性能的前提下提升子群体准确率？
• RQ4 Multiaccuracy Boost 在图像分类、金融和医疗保健等实际应用中的有效性如何？
• RQ5 当验证数据中少数群体代表性不足时，多准确率后处理是否仍能提升泛化能力和整体准确率？

主要发现

• 即使未向算法提供种族或性别等敏感属性，Multiaccuracy Boost 仍可提升子群体（如“黑人女性”）的准确率。
• 该方法显著降低了准确率差异，例如在 Gender Shades 基准测试中，将性别分类任务中的准确率差距缩小高达 34%。
• 后处理不仅提升了子群体准确率，还提升了整体模型准确率，即使在验证集中少数群体代表性不足的情况下亦然。
• 该算法收敛迅速，且对初始模型已表现良好的子群体，性能保持或进一步提升。
• 多准确率审计在图像识别和医疗保健等多种应用中，成功识别出表现不佳的子群体，且无需知晓敏感属性。
• 该框架在领域自适应场景中展现出实际应用价值，可作为复杂迁移学习技术的轻量级、黑箱替代方案。