[论文解读] Unprocessing Seven Years of Algorithmic Fairness

André F. Cruz, Moritz Hardt|arXiv (Cornell University)|Jun 12, 2023

Advanced Causal Inference Techniques被引用 4

一句话总结

本文通过实证研究证明，在多个表格型数据集上，后处理方法——即通过调整决策阈值以在不同人口群体间实现误差率均等化——在公平性-准确率帕累托前沿上表现最优，优于更复杂的预处理和在线处理方法。通过引入‘去处理’以统一比较标准，并利用线性规划提出一种松弛化约束公式，作者表明当基础模型和约束水平一致时，没有任何方法能超越后处理方法。

ABSTRACT

Seven years ago, researchers proposed a postprocessing method to equalize the error rates of a model across different demographic groups. The work launched hundreds of papers purporting to improve over the postprocessing baseline. We empirically evaluate these claims through thousands of model evaluations on several tabular datasets. We find that the fairness-accuracy Pareto frontier achieved by postprocessing contains all other methods we were feasibly able to evaluate. In doing so, we address two common methodological errors that have confounded previous observations. One relates to the comparison of methods with different unconstrained base models. The other concerns methods achieving different levels of constraint relaxation. At the heart of our study is a simple idea we call unprocessing that roughly corresponds to the inverse of postprocessing. Unprocessing allows for a direct comparison of methods using different underlying models and levels of relaxation.

研究动机与目标

• 评估更复杂的公平性方法是否在真实世界的表格型数据集上，优于后处理方法在公平性-准确率权衡中的表现。
• 解决先前比较中的方法论缺陷，包括基础模型不一致和约束松弛程度不一致的问题。
• 提出‘去处理’方法，用于从公平性约束模型中提取无约束模型，以实现更公平的比较。
• 利用线性规划提出一种松弛化的相等机会约束公式，以实现更公平的基准测试。
• 通过将后处理确立为帕累托主导的基线，加强算法公平性领域的评估标准。

提出的方法

• 提出‘去处理’——即后处理的逆过程——将任意公平性约束模型还原为其原始无约束风险评分，从而实现与后处理的直接比较。
• 采用线性规划公式实现近似误差率均等化（r-松弛化相等机会），以确保在相同约束水平下实现公平比较。
• 在开源 Python 包 error-parity 中实现该松弛化约束解决方案，以统一公平性基准测试。
• 在六个数据集（包括 ACSIncome 和 MEPS）上训练并评估超过 11,000 个模型，涵盖多种预处理、在线处理和无约束基线方法。
• 应用三重搜索（tri-search）在后处理中实现精确的误差率均等化，确保比较的基线公平。
• 使用通过去处理获得的无约束模型作为后处理的参考点，消除因基础模型性能差异带来的偏差。

实验结果

研究问题

• RQ1 当在多种表格型数据集上与更复杂的公平性方法比较时，后处理是否仍保持帕累托最优？
• RQ2 无约束基础模型性能的差异在多大程度上干扰了公平性方法的比较？
• RQ3 约束松弛如何影响公平性-准确率权衡？是否可以实现标准化以实现公平评估？
• RQ4 去处理能否实现对后处理方法更公平、更透明的公平性干预基准测试？
• RQ5 后处理在平方损失下的理论最优性，在真实世界表格型数据设置中是否具有实证有效性？

主要发现

• 后处理在所有评估的数据集和任务中均实现了公平性-准确率权衡的帕累托前沿，意味着没有任何其他方法能在不牺牲准确率的前提下提升公平性。
• 任何评估方法的公平性-准确率权衡均可通过最高准确率的无约束基础模型进行后处理来匹配或超越。
• 去处理成功地从任意公平性约束方法中提取出对应的无约束模型，实现了无需重新训练的直接比较。
• 通过线性规划实现的松弛化相等机会约束公式，使在一致约束违反水平下的公平基准测试成为可能，解决了关键的方法论缺陷。
• 即使在松弛约束条件下（例如 r=0.05），后处理仍优于或匹配所有评估方法，表明后处理具有鲁棒性和有效性。
• 在非平方损失设置中后处理最优性的反例在真实表格型数据集中并未显现，可能是因为风险评分在平方损失下接近贝叶斯最优。