[论文解读] PISE: Person Image Synthesis and Editing with Decoupled GAN

Jinsong Zhang, Kun Li+2 more|arXiv (Cornell University)|Mar 6, 2021

Generative Adversarial Networks and Image Synthesis参考文献 34被引用 11

一句话总结

PISE 提出了一种基于两阶段 GAN 的人体图像合成与编辑框架，通过联合使用全局和局部的区域编码与归一化方法，将服装形状与风格解耦，从而在保持空间上下文的同时，实现对可见与不可见区域的真实感生成。该方法在姿态迁移、纹理迁移和区域编辑方面取得了最先进性能，具有优越的感知质量与解耦控制能力。

ABSTRACT

Person image synthesis, e.g., pose transfer, is a challenging problem due to large variation and occlusion. Existing methods have difficulties predicting reasonable invisible regions and fail to decouple the shape and style of clothing, which limits their applications on person image editing. In this paper, we propose PISE, a novel two-stage generative model for Person Image Synthesis and Editing, which is able to generate realistic person images with desired poses, textures, or semantic layouts. For human pose transfer, we first synthesize a human parsing map aligned with the target pose to represent the shape of clothing by a parsing generator, and then generate the final image by an image generator. To decouple the shape and style of clothing, we propose joint global and local per-region encoding and normalization to predict the reasonable style of clothing for invisible regions. We also propose spatial-aware normalization to retain the spatial context relationship in the source image. The results of qualitative and quantitative experiments demonstrate the superiority of our model on human pose transfer. Besides, the results of texture transfer and region editing show that our model can be applied to person image editing.

研究动机与目标

• 为解决在大姿态变化下，特别是遮挡或不可见区域中生成真实感人体图像的挑战。
• 将服装形状与风格解耦，以实现灵活且细致的人体图像编辑。
• 在生成结果中保留源图像的空间上下文关系。
• 通过中间语义分割图实现对纹理和语义布局的可控编辑。
• 提升人体姿态迁移及相关应用中图像的真实感与感知质量。

提出的方法

• 该模型采用两阶段框架：首先生成与目标姿态对齐的人体语义分割图，以表示服装形状。
• 采用联合的全局与局部区域编码及归一化方法，预测可见与不可见区域的风格，确保纹理合成的一致性与真实性。
• 引入空间感知归一化，通过调制特征图的缩放与偏置，将源图像的空间上下文信息迁移至生成结果。
• 图像生成器利用解析出的形状与区域特定风格码，通过解码网络合成最终图像。
• 通过学习到的风格码实现区域风格控制，支持纹理迁移与插值。
• 框架通过对抗损失、感知损失和身份损失进行训练，以确保图像的真实感与保真度。

实验结果

研究问题

• RQ1 两阶段 GAN 框架能否有效解耦服装形状与风格，从而提升人体图像合成效果？
• RQ2 在姿态迁移过程中，如何为不可见区域预测出逼真的纹理？
• RQ3 在生成结果中，源图像的空间上下文信息能在多大程度上被保留？
• RQ4 该模型能否支持灵活的编辑操作，如纹理迁移与区域操作？
• RQ5 联合全局-局部编码与空间感知归一化对图像质量的贡献如何？

主要发现

• 包含联合全局与局部区域编码及空间感知归一化的完整模型在感知质量与真实感方面表现最佳，显著优于缺少这些组件的模型。
• 消融研究显示，联合编码显著提升了对不可见区域的建模能力，例如在遮挡姿态下能自然预测出面部特征与鞋履。
• 空间感知归一化显著提升了图像的清晰度与空间一致性，视觉对比结果充分证实了这一点。
• 该模型在纹理迁移任务中表现优异，能够生成具有细节丰富且可控制的服装纹理的自然图像。
• 通过修改输入的语义分割图，可成功实现区域编辑，实现所需图像布局的自动合成。
• 与基线模型相比，该模型在 FID 与 LPIPS 指标上均取得最高分，表明其与真实图像在感知与分布特性上具有更强的相似性。