[论文解读] The Fairness-Accuracy Pareto Front

Susan Wei, Marc Niethammer|arXiv (Cornell University)|Aug 25, 2020

Reinforcement Learning in Robotics参考文献 47被引用 6

一句话总结

本文提出使用切比雪夫标量化方案来识别深度神经网络中的公平性-准确率帕累托前沿，克服了大多数算法公平性方法中使用的标准线性标量化方案的局限性。结果表明，切比雪夫标量化能够恢复更广泛的帕累托最优解——尤其在非凸帕累托前沿中表现更优——同时计算效率高，在多个数据集上的帕累托前沿估计中，其性能优于线性标量化和对抗性方法。

ABSTRACT

Algorithmic fairness seeks to identify and correct sources of bias in machine learning algorithms. Confoundingly, ensuring fairness often comes at the cost of accuracy. We provide formal tools in this work for reconciling this fundamental tension in algorithm fairness. Specifically, we put to use the concept of Pareto optimality from multi-objective optimization and seek the fairness-accuracy Pareto front of a neural network classifier. We demonstrate that many existing algorithmic fairness methods are performing the so-called linear scalarization scheme which has severe limitations in recovering Pareto optimal solutions. We instead apply the Chebyshev scalarization scheme which is provably superior theoretically and no more computationally burdensome at recovering Pareto optimal solutions compared to the linear scheme.

研究动机与目标

• 为解决机器学习中公平性与准确率之间的根本性矛盾，现有方法往往无法恢复最优权衡。
• 证明大多数公平性方法所采用的线性标量化无法恢复公平性-准确率帕累托前沿中的非凸区域。
• 提出并评估切比雪夫标量化方案，作为帕累托前沿估计在理论上更优且计算上可行的替代方案。
• 通过实证比较不同公平性-准确率帕累托前沿估计方法的性能，包括对抗性训练和基于ATO的方法。
• 识别在深度学习中使用标量化时，权重选择和优化稳定性方面的实际挑战。

提出的方法

• 作者将切比雪夫标量化方案应用于深度神经网络中公平性与准确率的联合优化，通过加权最小化公平性与准确率理想值的最大偏差实现。
• 他们使用算法1在一系列标量化权重下生成候选模型，其中公平性通过中间层的ATO因果估计量进行衡量。
• 公平性目标定义为预测结果上平均处理效应（ATE）的绝对值，计算基于测试集。
• 准确率目标为测试集上的标准交叉熵损失或分类误差。
• 通过在公平性-准确率空间中识别非支配解，构建帕累托前沿，使用标量化目标进行评估。
• 该方法比较了三种变体：在倒数第二层使用ATO、在所有层使用ATO，以及对抗性公平性训练基线。

实验结果

研究问题

• RQ1 切比雪夫标量化方案是否能比算法公平性中广泛使用的线性标量化方案恢复更全面的公平性-准确率帕累托前沿？
• RQ2 公平性度量层的选择（如倒数第二层 vs. 所有层）如何影响深度神经网络中的帕累托前沿估计？
• RQ3 与基于标量化的方法相比，对抗性训练在公平性方面是否能产生更丰富或更完整的帕累托前沿？
• RQ4 不同公平性定义（人口均等、平等机会、平等奇偶性、ATO）在公平性-准确率权衡空间中如何分布？
• RQ5 当帕累托前沿形状未知时，标量化中的权重选择面临哪些实际挑战？

主要发现

• 切比雪夫标量化方案在公平性-准确率权衡空间的非凸区域中，显著恢复了比线性标量化更广泛的帕累托最优解集。
• 在UCI（性别）数据集上，单层ATO方法找到了44个非支配点，优于ATO全层方法（27个）和对抗性训练（13个）。
• 在UCI（种族）数据集上，单层ATO方法找到了33个非支配点，优于ATO全层方法（27个）和对抗性训练（9个）。
• 在再犯率数据集上，单层ATO方法找到了89个非支配点，显著优于ATO全层方法（53个）和对抗性训练（27个）。
• 在倒数第二层计算的ATO因果估计量比在所有中间层使用时提供了更优的帕累托前沿估计，表明使用全层估计量可能导致训练不稳定性。
• 三种标准公平性度量（人口均等、平等机会、平等奇偶性）在公平性-准确率空间中形成明显的聚类，而基于ATO的度量则实现了更连续且多样的帕累托前沿覆盖。