[论文解读] Unbiased Subdata Selection for Fair Classification: A Unified Framework and Scalable Algorithms

Qing Ye, Weijun Xie|arXiv (Cornell University)|Dec 22, 2020

Ethics and Social Impacts of AI参考文献 44被引用 5

一句话总结

该论文提出了一种统一的公平分类框架，通过无偏子数据选择整合精确的公平性度量，联合优化准确率与公平性。该框架引入了一种可扩展的迭代精炼策略（IRS），在分类与子数据选择之间交替进行，实现了卓越的公平性表现，且准确率损失最小，在包括不平衡医学影像数据在内的基准数据集上优于现有方法。

ABSTRACT

As an important problem in modern data analytics, classification has witnessed varieties of applications from different domains. Different from conventional classification approaches, fair classification concerns the issues of unintentional biases against the sensitive features (e.g., gender, race). Due to high nonconvexity of fairness measures, existing methods are often unable to model exact fairness, which can cause inferior fair classification outcomes. This paper fills the gap by developing a novel unified framework to jointly optimize accuracy and fairness. The proposed framework is versatile and can incorporate different fairness measures studied in literature precisely as well as can be applicable to many classifiers including deep classification models. Specifically, in this paper, we first prove Fisher consistency of the proposed framework. We then show that many classification models within this framework can be recast as mixed-integer convex programs, which can be solved effectively by off-the-shelf solvers when the instance sizes are moderate and can be used as benchmarks to compare the efficiency of approximation algorithms. We prove that in the proposed framework, when the classification outcomes are known, the resulting problem, termed "unbiased subdata selection," is strongly polynomial-solvable and can be used to enhance the classification fairness by selecting more representative data points. This motivates us to develop an iterative refining strategy (IRS) to solve the large-scale instances, where we improve the classification accuracy and conduct the unbiased subdata selection in an alternating fashion. We study the convergence property of IRS and derive its approximation bound. More broadly, this framework can be leveraged to improve classification models with unbalanced data by taking F1 score into consideration.

研究动机与目标

• 解决分类中精确公平性建模的挑战，其中非凸公平性度量常导致次优结果。
• 开发一个统一框架，精确整合多种公平性度量（如OMR、人口均等性、假阳性率和机会均等性）到分类模型中。
• 在传统和深度学习分类器（包括CNN）中实现精确的公平性表示，同时保持计算可行性。
• 通过在优化框架中整合F₁分数，提升在数据不平衡场景下的公平性。
• 设计一种适用于大规模实例的可扩展迭代精炼策略（IRS），确保收敛性和近似保证。

提出的方法

• 该框架将公平分类建模为中等规模实例的混合整数凸规划问题，利用现成求解器实现精确优化。
• 证明了所提出框架的费雪一致性，确保公平性与准确率目标的渐近正确性。
• 当分类结果固定时，证明了无偏子数据选择问题为强多项式可解，从而实现高效的数据子集精炼。
• 迭代精炼策略（IRS）在提升分类准确率与选择更具代表性、无偏的子数据之间交替进行，以增强公平性。
• IRS基于交替最小化，被证明在大规模问题中具有收敛性，并推导出近似边界。
• 通过将F₁分数作为公平性感知目标引入，将框架扩展至处理不平衡数据，从而提升少数类的表现。

实验结果

研究问题

• RQ1 能否开发一个统一框架，精确建模分类中的精确公平性度量，避免现有方法中常见的近似误差？
• RQ2 如何高效地制定并求解无偏子数据选择问题，以在不牺牲准确率的前提下提升公平性？
• RQ3 所提框架在大规模数据集上的计算可扩展性如何？是否能保证收敛？
• RQ4 与基线方法相比，迭代精炼策略（IRS）在真实世界和不平衡数据集上的公平性与准确率提升程度如何？
• RQ5 能否通过将F₁分数作为公平性感知目标，将框架扩展以提升不平衡数据场景下的公平性？

主要发现

• 在使用$3\times 3$卷积核的种族数据集上，所提出的CNN- $F_{1}$ 模型将F₁分数从0.29提升至0.41（提升7.2%），准确率从72.1%提升至79.3%。
• 在X光肺不张数据集上，使用$5\times 5$卷积核时，F₁分数从0.04提升至0.27，准确率提升0.3%，表明在罕见类别上具有显著有效性。
• 在性别数据集上，$5\times 5$卷积核配置下，F₁分数从0.31提升至0.47，准确率从79.1%提升至84.7%。
• CNN- $F_{1}$ 在所有场景下的最佳F₁分数与准确率均优于VCNN，仅在$3\times 3$卷积核的肺不张数据集上例外，表明其具有广泛优越性。
• 由于IRS的存在，CNN- $F_{1}$ 的训练时间长于VCNN，但其在公平性与准确率方面的性能增益在所有数据集中均显著且一致。
• 在所有评估数据集中，该框架实现的公平性结果优于现有方法，尤其在少数类的F₁分数上实现了显著提升。