[论文解读] StyleGAN-Human: A Data-Centric Odyssey of Human Generation

Jianglin Fu, Shikai Li+6 more|arXiv (Cornell University)|Apr 25, 2022

Face recognition and analysis被引用 5

一句话总结

本文提出StyleGAN-Human，一种以数据为中心的无条件逼真人像生成方法，采用大规模、多样化的23万张全身图像数据集（SHHQ）。研究证明，大规模数据（>40,000张图像）、姿态分布均衡以及人体中心对齐能显著提升生成质量，公开发布的模型库与编辑基准为未来的人像生成与编辑研究提供了支持。

ABSTRACT

Unconditional human image generation is an important task in vision and graphics, which enables various applications in the creative industry. Existing studies in this field mainly focus on "network engineering" such as designing new components and objective functions. This work takes a data-centric perspective and investigates multiple critical aspects in "data engineering", which we believe would complement the current practice. To facilitate a comprehensive study, we collect and annotate a large-scale human image dataset with over 230K samples capturing diverse poses and textures. Equipped with this large dataset, we rigorously investigate three essential factors in data engineering for StyleGAN-based human generation, namely data size, data distribution, and data alignment. Extensive experiments reveal several valuable observations w.r.t. these aspects: 1) Large-scale data, more than 40K images, are needed to train a high-fidelity unconditional human generation model with vanilla StyleGAN. 2) A balanced training set helps improve the generation quality with rare face poses compared to the long-tailed counterpart, whereas simply balancing the clothing texture distribution does not effectively bring an improvement. 3) Human GAN models with body centers for alignment outperform models trained using face centers or pelvis points as alignment anchors. In addition, a model zoo and human editing applications are demonstrated to facilitate future research in the community.

研究动机与目标

• 为解决无条件人像生成中缺乏全面的数据中心分析，特别是关注数据规模、分布与对齐问题。
• 收集并标注一个大规模、高质量的数据集（SHHQ），包含超过23万张多样化全身图像，分辨率为1024×512或更高。
• 研究数据工程因素——数据规模、数据分布与数据对齐——对基于StyleGAN的人像生成质量的影响。
• 建立一个公开的模型库，提供六种预训练的StyleGAN模型（StyleGAN、StyleGAN2、无别名StyleGAN），分辨率分别为1024×512和512×256，供社区使用。
• 通过将面部编辑方法（如PTI、InterFaceGAN）适配至全身人像生成，构建并验证一个面向人像的编辑基准。

提出的方法

• 收集并整理了包含230,000张高分辨率全身图像的Stylish-Humans-HQ（SHHQ）数据集，对多样化姿态与服装纹理进行标注。
• 在不同数据规模（从4,000张到230,000张）上训练原始StyleGAN模型，以评估数据量对生成保真度的影响。
• 对比长尾分布与均衡分布的数据训练方式，特别分析其对稀有面部姿态与服装纹理的影响。
• 评估三种对齐方案——面部中心、骨盆点与身体中心——在训练期间的数据对齐效果，采用基于关键点的归一化方法。
• 通过将面向面部的编辑方法（PTI、InterFaceGAN、StyleSpace、SeFa）适配至全身图像，利用预训练模型构建人像编辑基准。
• 发布包含六个模型（三种架构 × 两种分辨率）的模型库，并提供代码以支持可复现性与下游应用。

实验结果

研究问题

• RQ1 使用原始StyleGAN架构训练高保真无条件人像生成模型所需的最小数据量是多少？
• RQ2 数据分布不均衡（特别是面部姿态与服装纹理）如何影响稀有或代表性不足属性的生成质量？
• RQ3 在训练基于StyleGAN的人像生成模型时，哪种对齐策略（面部中心、骨盆点或身体中心）表现最佳？

主要发现

• 使用原始StyleGAN架构训练高保真人像生成模型，至少需要40,000张图像。
• 对人脸姿态的数据分布进行均衡化可提升稀有姿态的生成质量，而对服装纹理分布进行均衡化则未带来显著改善。
• 采用身体中心对齐训练的模型优于使用面部中心或骨盆点对齐的模型，表明其具有更优的结构一致性。
• 公开发布的模型库使得最先进的面部编辑方法（如InterFaceGAN、PTI）能有效适配至全身人像图像，生成逼真且自然的编辑结果。
• 基于InsetGAN的面部与身体融合方法，通过分离模型生成，可产生多样化且一致的全身图像，证明了模型库在多组件生成中的实用性。
• 人像编辑基准揭示，潜在空间中的人像属性解耦比面部更复杂，凸显了属性控制的挑战。