[论文解读] Representative & Fair Synthetic Data

Paul Tiwald, Alexandra Ebert+1 more|arXiv (Cornell University)|Apr 7, 2021

Ethics and Social Impacts of AI参考文献 7被引用 7

一句话总结

本文提出一种框架，通过在自监督生成模型的训练中整合公平性约束（特别是统计均等性），生成具有代表性且公平的合成表格数据。通过将公平性损失加入模型的目标函数，该方法在保留统计关系的同时，减轻了UCI Adult数据集中性别和种族偏见，使下游模型对受保护群体的倾向性评分几乎相等，而无需显式进行公平性优化。

ABSTRACT

Algorithms learn rules and associations based on the training data that they are exposed to. Yet, the very same data that teaches machines to understand and predict the world, contains societal and historic biases, resulting in biased algorithms with the risk of further amplifying these once put into use for decision support. Synthetic data, on the other hand, emerges with the promise to provide an unlimited amount of representative, realistic training samples, that can be shared further without disclosing the privacy of individual subjects. We present a framework to incorporate fairness constraints into the self-supervised learning process, that allows to then simulate an unlimited amount of representative as well as fair synthetic data. This framework provides a handle to govern and control for privacy as well as for bias within AI at its very source: the training data. We demonstrate the proposed approach by amending an existing generative model architecture and generating a representative as well as fair version of the UCI Adult census data set. While the relationships between attributes are faithfully retained, the gender and racial biases inherent in the original data are controlled for. This is further validated by comparing propensity scores of downstream predictive models that are trained on the original data versus the fair synthetic data. We consider representative & fair synthetic data a promising future building block to teach algorithms not on historic worlds, but rather on the worlds that we strive to live in.

研究动机与目标

• 通过在数据生成阶段控制公平性，解决机器学习中的系统性偏见。
• 开发一种方法，生成既反映原始数据特征又在性别、种族等受保护属性上公平的合成数据。
• 证明公平性可直接嵌入数据生成过程，从而在不修改学习算法的情况下减少下游模型中的偏见。
• 验证在合成数据生成中引入公平性约束能有效减少代理偏见并保持数据质量。

提出的方法

• 在生成模型的训练目标中加入公平性损失，与标准准确率损失并行，以同时优化数据保真度与公平性。
• 以统计均等性作为公平性定义，即受保护群体（如男性与女性）获得正向结果（如高收入）的概率相等。
• 将公平性损失形式化为与经验统计均等性偏差成比例的惩罚项，通过加权损失组合实现准确率与公平性之间的权衡。
• 在Adult数据集上端到端训练模型，将性别和种族作为受保护属性，并在生成过程中施加公平性约束。
• 保留原始数据的单变量和双变量统计分布，以确保合成样本的代表性。
• 通过分析在合成数据与原始数据上训练的下游逻辑回归模型的倾向性评分，评估公平性。

实验结果

研究问题

• RQ1 能否有效将公平性约束嵌入数据生成过程，以生成既具有代表性又公平的合成数据？
• RQ2 在生成模型中引入公平性损失是否能减少下游预测模型中的偏见，而无需在模型训练中显式应用公平性约束？
• RQ3 公平性约束在多大程度上可缓解通过间接编码敏感属性的代理变量所导致的偏见？
• RQ4 同时施加多个公平性约束（如针对性别和种族）如何影响交叉群体间的成果平衡？

主要发现

• 对于性别，合成数据的差异影响比率为0.88，超过0.8的阈值（四分之三规则），而原始数据中为0.33，表明偏见得到显著缓解。
• 原始数据的单变量和双变量统计分布已在合成数据中得到保留，证实了高代表性。
• 性别与代理属性之间的相关性得以保持，但代理属性与收入之间的相关性显著降低，表明代理偏见得到有效缓解。
• 在合成数据上训练的下游逻辑回归模型对男性和女性分配的倾向性评分几乎相等，即使在模型训练阶段未应用任何公平性约束。
• 合成模型实现了具有竞争力的性能（准确率84.13%，AUC 88.34%），表明公平性并未以牺牲预测性能为代价。
• 当同时对种族和性别施加公平性约束时，所有四个交叉群体（如白人男性、黑人女性）的高收入比率显著趋于平衡，且通过增加公平性损失权重可进一步提升平衡效果。