[论文解读] Transferring Fairness under Distribution Shifts via Fair Consistency Regularization

Bang An, Zora Che+2 more|arXiv (Cornell University)|Jun 26, 2022

Ethics and Social Impacts of AI被引用 10

一句话总结

本文提出公平一致性正则化（FCR），一种自训练方法，通过在保留群体特征的数据变换下强制保持预测一致性，实现在分布偏移下的公平性与准确性的迁移。该方法基于组内扩展假设，展示了在合成与真实世界图像/表格数据集上，对领域、子群体及混合偏移的鲁棒公平性迁移，其在偏移下的公平性与准确性方面优于基线方法。

ABSTRACT

The increasing reliance on ML models in high-stakes tasks has raised a major concern on fairness violations. Although there has been a surge of work that improves algorithmic fairness, most of them are under the assumption of an identical training and test distribution. In many real-world applications, however, such an assumption is often violated as previously trained fair models are often deployed in a different environment, and the fairness of such models has been observed to collapse. In this paper, we study how to transfer model fairness under distribution shifts, a widespread issue in practice. We conduct a fine-grained analysis of how the fair model is affected under different types of distribution shifts and find that domain shifts are more challenging than subpopulation shifts. Inspired by the success of self-training in transferring accuracy under domain shifts, we derive a sufficient condition for transferring group fairness. Guided by it, we propose a practical algorithm with a fair consistency regularization as the key component. A synthetic dataset benchmark, which covers all types of distribution shifts, is deployed for experimental verification of the theoretical findings. Experiments on synthetic and real datasets including image and tabular data demonstrate that our approach effectively transfers fairness and accuracy under various distribution shifts.

研究动机与目标

• 探究在真实世界机器学习部署中，为何公平性会在分布偏移下崩溃。
• 识别领域偏移相较于子群体偏移对公平性迁移更具挑战性。
• 开发一种基于理论指导的自训练方法，以在分布偏移下保持公平性。
• 在多样化的合成与真实世界数据集（包括图像与表格数据）上验证该方法。

提出的方法

• 基于组内扩展假设，提出在分布偏移下实现群体公平性迁移的理论充分条件。
• 引入公平一致性正则化（FCR）作为核心组件，强制在保留敏感属性的数据变换下保持预测一致性。
• 采用自训练方法，利用未标注的目标领域数据，对预测进行正则化，使其在保留敏感属性的变换下保持一致。
• 构建一个包含多样化分布偏移（领域、子群体、混合）的合成基准，以模拟真实世界中的偏移类型。
• 谨慎选择变换——排除会改变敏感属性的变换（如对比度、色彩、底片化）——以保持组内扩展假设。
• 将该方法应用于图像与表格数据，图像使用标准增强，表格数据使用领域特定变换。

实验结果

研究问题

• RQ1 为何公平性会在分布偏移下崩溃，尤其是在真实世界部署场景中？
• RQ2 不同类型的分布偏移（领域、子群体、混合）如何影响机器学习模型中公平性的可迁移性？
• RQ3 何种理论条件可实现分布偏移下跨领域的公平性迁移？
• RQ4 通过公平感知的一致性正则化进行自训练，能否有效在分布发生偏移的目标领域中保持公平性与准确性？
• RQ5 特定数据变换如何影响公平性迁移？在组内扩展假设下，哪些变换是安全可用的？

主要发现

• 领域偏移比子群体偏移更具挑战性，因为其涉及根本不同的数据分布。
• 公平一致性正则化在合成与真实数据集上，对三种分布偏移类型（领域、子群体、混合）均显著提升了公平性迁移效果。
• 该方法在公平性与准确性迁移方面达到当前最优性能，在UTKFace与FairFace数据集上对基线方法实现一致改进。
• 对比度、色彩与底片化等变换会因违反组内扩展假设而增加不公平性，因此被排除在方法之外。
• 该方法缓解了半监督学习中的差异影响，在FixMatch实验中提升了低性能类别的受益比率。
• 该方法在图像与表格数据上均有效，性能提升取决于所用变换的质量及其保留群体特征的特性。