[论文解读] Pose Guided Fashion Image Synthesis Using Deep Generative Model

Wei Sun, Jawadul H. Bappy+4 more|arXiv (Cornell University)|Jun 17, 2019

Generative Adversarial Networks and Image Synthesis参考文献 38被引用 10

一句话总结

本文提出了一种用于逼真时尚图像合成的深度生成模型，可在转移人物姿态的同时保持服装外观。该模型采用双编码器生成器（图像编码器与姿态编码器）并配备两个判别器——一个用于图像真实感，另一个用于姿态外观一致性，从而在DeepFashion和Market-1501数据集上实现了最先进的Inception Score与较高的SSIM分数。

ABSTRACT

Generating a photorealistic image with intended human pose is a promising yet challenging research topic for many applications such as smart photo editing, movie making, virtual try-on, and fashion display. In this paper, we present a novel deep generative model to transfer an image of a person from a given pose to a new pose while keeping fashion item consistent. In order to formulate the framework, we employ one generator and two discriminators for image synthesis. The generator includes an image encoder, a pose encoder and a decoder. The two encoders provide good representation of visual and geometrical context which will be utilized by the decoder in order to generate a photorealistic image. Unlike existing pose-guided image generation models, we exploit two discriminators to guide the synthesis process where one discriminator differentiates between generated image and real images (training samples), and another discriminator verifies the consistency of appearance between a target pose and a generated image. We perform end-to-end training of the network to learn the parameters through back-propagation given ground-truth images. The proposed generative model is capable of synthesizing a photorealistic image of a person given a target pose. We have demonstrated our results by conducting rigorous experiments on two data sets, both quantitatively and qualitatively.

研究动机与目标

• 开发一种深度生成模型，以合成具有指定目标姿态的逼真时尚图像。
• 通过利用同一时尚单品的多张图像，学习视觉-语义上下文，从而改进姿态引导的图像合成。
• 通过双判别器架构提升图像质量和姿态一致性。
• 实现端到端训练，以联合优化生成器与判别器。
• 通过利用多视角图像序列，减少对单张图像输入的依赖，实现更丰富的特征学习。

提出的方法

• 采用带有双向卷积LSTM（bC-LSTM）的生成器，以学习同一时尚单品多张图像之间的视觉-语义特征。
• 使用U-Net编码器从输入图像和姿态图中提取紧凑的外观与几何表征。
• 部署两个判别器：一个（D_I）用于区分真实图像与生成图像，以强化逼真感；另一个（D_P）用于验证姿态外观的一致性。
• 通过反向传播端到端训练整个模型，使用对抗性损失与感知重建损失。
• 在解码器中集成U-Net风格的跳跃连接，以在图像生成过程中保留空间细节。
• 在训练过程中利用真实图像与姿态图作为监督信号，以引导合成过程。

实验结果

研究问题

• RQ1 深度生成模型能否在保持服装外观的同时，准确实现姿态转移并合成逼真的时尚图像？
• RQ2 使用同一时尚单品的多张图像在多大程度上提升了视觉-语义特征学习与合成质量？
• RQ3 使用两个专用判别器（分别用于真实感与姿态一致性）对图像质量与保真度产生了何种影响？
• RQ4 在多样化数据集上，该模型与最先进方法相比，在Inception Score与SSIM指标上的表现如何？
• RQ5 该模型在复杂姿态变化下，能否生成逼真的面部细节并保持一致性？

主要发现

• 在DeepFashion数据集上，所提模型实现了10.28的SOTA Inception Score，显著优于PG²（1.77）、PG²(G1+D)（2.11）、pix2pix（2.55）与变分U-Net（3.02）。
• 在Market-1501数据集上，模型取得了0.892的SSIM分数，相比单图像基线模型高出9.90个百分点。
• 引入姿态一致性判别器（D_P）后，SSIM相比无D_P的消融模型提升了9.38%。
• 在DeepFashion数据集上，多图像模型（M）的SSIM比单图像模型（S）高出0.89%，证明了多视角特征学习的优势。
• 定性结果表明，模型具有高视觉保真度，包括逼真的面部特征（眼睛、鼻子、嘴巴），并能准确实现多种姿态下的姿态转移。
• 模型对背景变化具有鲁棒性，在Market-1501数据集上表现优异，即使目标图像中缺乏背景信息，仍能保持高性能。