[论文解读] Uncovering Bias in Face Generation Models

Cristian Muñoz, Sara Zannone+2 more|arXiv (Cornell University)|Feb 22, 2023

Face recognition and analysis被引用 4

一句话总结

本文对人脸生成模型中的偏见进行了全面分析，评估了生成器、属性调节器（InterfaceGAN）以及后处理缓解方法，采用FID、人脸匹配误差和自相似性等指标。研究发现，生成器表现出强烈的偏见——对白人肤色的偏好达75–85%，对女性性别的偏好达60–80%；而后处理缓解方法在最小化质量损失的前提下提供了最高效的公平性改进，尽管其改变了嵌入空间中的特征集中度。

ABSTRACT

Recent advancements in GANs and diffusion models have enabled the creation of high-resolution, hyper-realistic images. However, these models may misrepresent certain social groups and present bias. Understanding bias in these models remains an important research question, especially for tasks that support critical decision-making and could affect minorities. The contribution of this work is a novel analysis covering architectures and embedding spaces for fine-grained understanding of bias over three approaches: generators, attribute modifier, and post-processing bias mitigators. This work shows that generators suffer from bias across all social groups with attribute preferences such as between 75%-85% for whiteness and 60%-80% for the female gender (for all trained CelebA models) and low probabilities of generating children and older men. Modifier and mitigators work as post-processor and change the generator performance. For instance, attribute channel perturbation strategies modify the embedding spaces. We quantify the influence of this change on group fairness by measuring the impact on image quality and group features. Specifically, we use the Fréchet Inception Distance (FID), the Face Matching Error and the Self-Similarity score. For Interfacegan, we analyze one and two attribute channel perturbations and examine the effect on the fairness distribution and the quality of the image. Finally, we analyzed the post-processing bias mitigators, which are the fastest and most computationally efficient way to mitigate bias. We find that these mitigation techniques show similar results on KL divergence and FID score, however, self-similarity scores show a different feature concentration on the new groups of the data distribution. The weaknesses and ongoing challenges described in this work must be considered in the pursuit of creating fair and unbiased face generation models.

研究动机与目标

• 识别并量化最先进的面部生成模型（包括GANs和扩散模型）中的偏见。
• 研究架构选择和嵌入空间操作对公平性和图像质量的影响。
• 评估属性调节器（如InterfaceGAN）和后处理偏见缓解方法在减少群体层面偏见方面的有效性。
• 评估应用偏见缓解技术时，公平性、图像保真度和特征分布之间的权衡。
• 通过多种互补指标，为生成人脸数据集中的偏见与公平性提供系统性基准评估。

提出的方法

• 在CelebA和FFHQ数据集上训练并评估了多种面部生成模型：DDPM、LDM、StyleGAN2和CIPS。
• 通过在Z空间、W空间、PCA空间（GANSpace）和风格空间（StyleSpace）中进行潜在空间操作，实现细粒度的属性编辑。
• 使用InterfaceGAN在风格空间中执行单通道和双通道的属性扰动，以分析公平性与质量之间的权衡。
• 利用Fréchet Inception Distance（FID）、人脸匹配误差和自相似性分数来衡量图像质量，以检测分布偏移和伪影。
• 评估后处理偏见缓解方法作为重训练的计算高效替代方案，比较其对KL散度和FID的影响。
• 分析受保护属性（性别、种族、年龄、情绪）的数据分布，量化生成样本中的代表性不足和偏见。

((a))

实验结果

研究问题

• RQ1 预训练的人脸生成模型在多大程度上对特定社会群体（如种族、性别、年龄）表现出偏见？
• RQ2 像InterfaceGAN这样的属性操作技术如何影响不同嵌入空间中的公平性和图像质量？
• RQ3 与直接微调模型相比，后处理偏见缓解方法对图像保真度和分布公平性有何影响？
• RQ4 标准指标如FID为何无法捕捉与偏见相关的伪影？需要哪些额外指标（如自相似性）才能实现稳健评估？
• RQ5 在偏见缓解、图像质量和潜在空间中特征集中度之间存在哪些权衡？

主要发现

• 在CelebA上训练的生成器表现出强烈偏见，所有模型中对白人肤色的偏好均达75–85%，对女性性别的偏好达60–80%。
• 儿童和年长男性显著代表性不足，仅10–20%的生成图像属于10–19岁和50岁以上年龄组。
• 后处理偏见缓解方法是计算效率最高的方法，其FID和KL散度得分与其他方法相当，但改变了数据分布中的特征集中度。
• 自相似性分数显示，缓解方法和调节器会改变特征集中度，表明存在FID无法捕捉的潜在分布失真。
• 在风格空间中进行大范围扰动（如通过InterfaceGAN）会引入不必要的伪影，即使FID保持稳定，图像质量仍会下降。
• 结合FID与自相似性可提供比单独使用FID更稳健的评估，因为自相似性能检测到属性特定特征分布中的异常。

((b))