[论文解读] Unsupervised Person Image Synthesis in Arbitrary Poses

Albert Pumarola, Antonio Agudo+2 more|arXiv (Cornell University)|Sep 27, 2018

Generative Adversarial Networks and Image Synthesis参考文献 37被引用 17

一句话总结

本文提出了一种完全无监督的基于GAN的框架，仅通过单张输入图像和2D姿态骨架，即可合成任意姿态下的逼真人物图像。通过结合内容与风格感知的双向循环一致性损失，该模型在无需成对训练数据的情况下生成高保真图像，在DeepFashion数据集上的性能可与监督方法相媲美。

ABSTRACT

We present a novel approach for synthesizing photo-realistic images of people in arbitrary poses using generative adversarial learning. Given an input image of a person and a desired pose represented by a 2D skeleton, our model renders the image of the same person under the new pose, synthesizing novel views of the parts visible in the input image and hallucinating those that are not seen. This problem has recently been addressed in a supervised manner, i.e., during training the ground truth images under the new poses are given to the network. We go beyond these approaches by proposing a fully unsupervised strategy. We tackle this challenging scenario by splitting the problem into two principal subtasks. First, we consider a pose conditioned bidirectional generator that maps back the initially rendered image to the original pose, hence being directly comparable to the input image without the need to resort to any training image. Second, we devise a novel loss function that incorporates content and style terms, and aims at producing images of high perceptual quality. Extensive experiments conducted on the DeepFashion dataset demonstrate that the images rendered by our model are very close in appearance to those obtained by fully supervised approaches.

研究动机与目标

• 解决仅通过单张图像生成新颖姿态下逼真人物图像的挑战，且无需成对训练数据。
• 通过仅使用输入图像和姿态骨架在无标签图像上训练GAN模型，消除对监督数据的需求。
• 在姿态变化过程中保持身份、纹理和风格的一致性，同时对遮挡的身体部位进行合理推测。
• 设计一种新型损失函数，以确保生成图像的感知质量和语义一致性。
• 证明无监督训练可实现与完全监督的最先进方法相当的性能。

提出的方法

• 该模型采用姿态条件驱动的双向生成器，首先从输入姿态生成目标姿态的图像，再反向生成回原始姿态，以实现循环一致性。
• 设计了一种新型损失函数，结合内容损失、风格损失和身份保持损失，以确保感知质量和语义保真度。
• 对抗性损失同时应用于正向和反向生成路径，以增强图像的真实性。
• 框架使用预训练VGG网络的特征图来计算内容和风格的感知损失。
• 身份损失被特别设计用于在姿态变换过程中保持人物身份的一致性，替代标准的L1损失。
• 模型通过仅使用单张图像和姿态骨架进行端到端训练，无需任何真实配对图像。

实验结果

研究问题

• RQ1 基于GAN的模型能否在无需成对训练图像的情况下，生成高质量、逼真的任意姿态人物图像？
• RQ2 如何结合循环一致性与感知损失，以在大姿态变化下保持身份与外观的一致性？
• RQ3 无监督模型在人物图像合成任务中，能在多大程度上达到监督方法的最先进性能？
• RQ4 无监督人物图像合成的失败模式是什么？它们与纹理映射和几何一致性有何关联？
• RQ5 尽管在无背景数据上进行训练，模型是否能泛化到具有复杂背景的图像？

主要发现

• 所提出的无监督模型在DeepFashion数据集上的图像质量可与完全监督的最先进方法相媲美。
• 即使输入和目标姿态差异极大，模型仍能成功生成逼真图像，包括对完全遮挡肢体的完整重建。
• 若将身份损失替换为标准L1损失，将导致严重的身份崩溃，生成图像趋同于一个通用的“平均”人物形象，证明身份损失在模型中的关键作用。
• 模型在具有背景的图像上表现出合理的泛化能力，能生成一致的人员轮廓和纹理，尽管背景因缺乏背景特定监督而显得过度平滑。
• 消融实验证实，内容、风格、身份和循环一致性损失的每一项对高保真度生成都至关重要。
• 失败案例包括纹理错位（如将长裤映射到腿部）、面部渲染不完整、姿态几何错误以及身体部位纹理误传，凸显了在自遮挡和形状一致性方面的挑战。