[论文解读] Re-weighting Based Group Fairness Regularization via Classwise Robust Optimization

Sangwon Jung, Tae‐Eon Park+2 more|arXiv (Cornell University)|Mar 1, 2023

Work-Family Balance Challenges被引用 5

一句话总结

该论文提出 FairDRO，一种新颖的在处理方法，通过使用差异条件准确率（DCA）度量将重加权与基于正则化的群体公平性统一为类别的分布鲁棒优化（DRO）。该方法通过迭代优化过程自动学习最优群体权重，在多种表格数据、视觉和自然语言处理基准上实现了最先进的准确率-公平性权衡，并持续优于强基线模型。

ABSTRACT

Many existing group fairness-aware training methods aim to achieve the group fairness by either re-weighting underrepresented groups based on certain rules or using weakly approximated surrogates for the fairness metrics in the objective as regularization terms. Although each of the learning schemes has its own strength in terms of applicability or performance, respectively, it is difficult for any method in the either category to be considered as a gold standard since their successful performances are typically limited to specific cases. To that end, we propose a principled method, dubbed as \ours, which unifies the two learning schemes by incorporating a well-justified group fairness metric into the training objective using a class wise distributionally robust optimization (DRO) framework. We then develop an iterative optimization algorithm that minimizes the resulting objective by automatically producing the correct re-weights for each group. Our experiments show that FairDRO is scalable and easily adaptable to diverse applications, and consistently achieves the state-of-the-art performance on several benchmark datasets in terms of the accuracy-fairness trade-off, compared to recent strong baselines.

研究动机与目标

• 解决现有群体公平性方法在理论基础薄弱或适用范围狭窄方面的局限性。
• 将基于重加权与基于正则化的公平性方法统一为一个原则性且可扩展的框架。
• 通过将具有良好理论依据的公平性度量（即 DCA）纳入训练目标，改进准确率-公平性权衡。
• 开发一种迭代优化算法，以理论上合理的方式自动学习正确（包括负值）的群体权重。
• 在多种数据集和模型类型上展示其可扩展性与一致的性能提升。

提出的方法

• 使用差异条件准确率（DCA）来表述群体公平性，证明其等价于各类别下群体 0-1 损失方差的平方根的平均值。
• 对准概率上的 χ² 散度球应用类别级分布鲁棒优化（DRO），将 DCA 正则化的经验风险最小化转化为可处理的极大极小优化问题。
• 将 DRO 公式中的内层最大化器用作每组的样本权重，从而在重加权与正则化之间建立统一联系。
• 开发一种基于 Bregman 投影的迭代算法（IBR），并引入平滑技术以稳定权重更新并确保收敛性。
• 引入平滑的 IBR 更新机制，防止优化过程中群体权重的振荡，提升训练稳定性。
• 采用群体-类别平衡准确率而非标准准确率，以在数据不平衡的数据集上更公平地评估性能。

实验结果

研究问题

• RQ1 统一框架能否有效结合重加权与基于正则化的公平性方法的优势？
• RQ2 通过类别级 DRO 表述公平性是否能带来优于现有方法的准确率-公平性权衡？
• RQ3 迭代优化过程能否以原则性方式自动学习最优的、可能为负的群体权重？
• RQ4 FairDRO 在包括表格数据、视觉和自然语言处理数据在内的多种数据模态上表现如何？
• RQ5 IBR 中的平滑技术是否显著提升了权重更新过程的稳定性与性能？

主要发现

• FairDRO 在所有基准数据集上均实现了最先进的准确率-公平性权衡表现，优于近期的强基线模型。
• 在 Adult 数据集上，FairDRO 将 DCA 从 6.83（基线）降低至 1.99，同时保持高准确率（79.23%）。
• 在 COMPAS 数据集上，FairDRO 将 DCA 从 14.51（基线）降低至 5.20，平衡准确率为 61.97%。
• 平滑的 IBR 更新稳定了群体权重动态，防止振荡，从而在消融研究中提升了公平性表现。
• FairDRO 在高度不平衡的数据集（如 Adult 和 CelebA）中始终提升公平性，且不以牺牲准确率为代价。
• 该方法具有可扩展性，可适应多种应用场景，包括表格数据、视觉和自然语言处理任务。