[论文解读] Unpaired Pose Guided Human Image Generation

Xu Chen, Jie Song+1 more|arXiv (Cornell University)|Jan 8, 2019

Generative Adversarial Networks and Image Synthesis参考文献 43被引用 6

一句话总结

本文提出一种用于无配对姿态引导的人体图像生成的端到端生成对抗网络，能够在无需成对训练数据或3D姿态标注的情况下，通过实例级或类别级服装控制，实现从姿态草图生成高保真度的真实感人体图像。该模型在感知研究中实现了最先进水平的真实感表现，当人脸被模糊时，欺骗率（fool-rate）达到53%，优于以往工作，其优势源于使用无配对的3D网格和图像进行训练。

ABSTRACT

This paper studies the task of full generative modelling of realistic images of humans, guided only by coarse sketch of the pose, while providing control over the specific instance or type of outfit worn by the user. This is a difficult problem because input and output domain are very different and direct image-to-image translation becomes infeasible. We propose an end-to-end trainable network under the generative adversarial framework, that provides detailed control over the final appearance while not requiring paired training data and hence allows us to forgo the challenging problem of fitting 3D poses to 2D images. The model allows to generate novel samples conditioned on either an image taken from the target domain or a class label indicating the style of clothing (e.g., t-shirt). We thoroughly evaluate the architecture and the contributions of the individual components experimentally. Finally, we show in a large scale perceptual study that our approach can generate realistic looking images and that participants struggle in detecting fake images versus real samples, especially if faces are blurred.

研究动机与目标

• 在无需成对训练数据的情况下，实现从姿态草图生成逼真且可控的人体图像。
• 对特定服装实例和更广泛的服装类别（如T恤、连衣裙）实现细粒度控制。
• 通过在带有部件标注的无配对3D网格和真实人体穿衣图像上进行训练，减轻标注负担。
• 通过在单一端到端模型中统一姿态与外观控制，消除两阶段训练流水线的需求。
• 在感知评估中提升图像真实感与欺骗率表现，尤其在面部细节被遮蔽的情况下。

提出的方法

• 模型采用条件生成对抗网络（cGAN），包含内容条件生成器和判别器，以确保图像的真实性。
• 采用解耦潜在空间，分别控制姿态、身份和服装风格，支持条件采样。
• 架构集成了姿态编码器，将输入草图嵌入潜在表示，以引导生成器。
• 通过参考图像网络，将源图像的外观和风格编码至潜在空间，实现实例级控制。
• 训练策略使用无配对数据：带有部件标注的3D网格和真实人体图像，避免昂贵的3D姿态拟合过程。
• 模型支持通过类别标签（如“连衣裙”）进行条件采样，也支持基于参考图像的图像翻译以实现特定服装搭配。

实验结果

研究问题

• RQ1 生成模型能否仅凭姿态草图生成逼真人像，而无需成对训练数据？
• RQ2 该模型能否实现对特定服装实例和更广泛服装类别的细粒度控制？
• RQ3 在无配对3D网格与真实图像上进行训练，能否实现与成对方法相当的高保真图像合成？
• RQ4 在感知评估中，该模型的真实感表现与以往人体图像生成方法相比如何，尤其是在面部细节被模糊的情况下？
• RQ5 该架构能否泛化至其他图像翻译任务，而不仅限于人体图像生成？

主要发现

• 在大规模感知研究中（n=478），所提模型的欺骗率（fool-rate）为27%，表明其图像生成具有极强的真实感。
• 当面部区域被模糊时，欺骗率上升至53%，表明模型在非面部区域生成高度逼真的图像，尤其在这些区域表现优异。
• 消融实验证实，姿态编码器和条件生成器对高质量图像合成均至关重要。
• 该模型能生成多样化、逼真的图像，即使在姿态引导下，也能体现显著的类别内颜色、纹理和服装风格差异。
• 该架构在其他任务上也表现出良好泛化能力，例如照片到油画的图像翻译，支持风格控制与潜在空间采样——这是标准图像到图像方法（如CycleGAN）所不具备的能力。
• 失败案例主要出现在罕见姿态或视角下，表明通过引入更多样化的训练数据，可进一步提升模型的泛化能力。