[论文解读] Person Image Synthesis via Denoising Diffusion Model

Ankan Kumar Bhunia, Salman Khan+5 more|arXiv (Cornell University)|Nov 22, 2022

Generative Adversarial Networks and Image Synthesis被引用 16

一句话总结

本文提出人体图像扩散模型（PIDM），一种去噪扩散框架，用于生成高保真、逼真的条件化人体图像，输入条件为姿态和外观。通过将图像转换分解为迭代去噪步骤，并引入解耦的无分类器指导纹理扩散模块，PIDM在DeepFashion和Market-1501数据集上实现了最先进性能，生成的图像清晰、逼真，纹理保留准确，且多样性显著提升。

ABSTRACT

The pose-guided person image generation task requires synthesizing photorealistic images of humans in arbitrary poses. The existing approaches use generative adversarial networks that do not necessarily maintain realistic textures or need dense correspondences that struggle to handle complex deformations and severe occlusions. In this work, we show how denoising diffusion models can be applied for high-fidelity person image synthesis with strong sample diversity and enhanced mode coverage of the learnt data distribution. Our proposed Person Image Diffusion Model (PIDM) disintegrates the complex transfer problem into a series of simpler forward-backward denoising steps. This helps in learning plausible source-to-target transformation trajectories that result in faithful textures and undistorted appearance details. We introduce a 'texture diffusion module' based on cross-attention to accurately model the correspondences between appearance and pose information available in source and target images. Further, we propose 'disentangled classifier-free guidance' to ensure close resemblance between the conditional inputs and the synthesized output in terms of both pose and appearance information. Our extensive results on two large-scale benchmarks and a user study demonstrate the photorealism of our proposed approach under challenging scenarios. We also show how our generated images can help in downstream tasks. Our code and models will be publicly released.

研究动机与目标

• 解决基于GAN的方法在人体图像生成中存在纹理失真和复杂姿态下泛化能力差的局限性。
• 利用扩散模型固有的稳定性和多样性，实现高保真、可控的人体图像生成。
• 通过学习隐式的外观-姿态对应关系，消除对密集标注（如语义分割图或3D对应点）的依赖。
• 在保持全局结构和真实纹理的同时，提升生成图像的模式覆盖度和样本多样性。
• 展示生成图像在下游任务（如行人重识别）中的实用性。

提出的方法

• 将人体图像生成建模为去噪扩散过程，通过逐步从潜在高斯噪声中去除噪声，生成受姿态和外观条件控制的目标图像。
• 引入基于交叉注意力机制的纹理扩散模块，建模源外观与目标姿态特征之间的对应关系，实现无伪影的纹理迁移。
• 在采样过程中采用解耦的无分类器指导，独立控制姿态与外观对齐，确保输出与输入条件的高度保真。
• 使用DDIM采样并结合掩码潜在特征精炼，实现通过选择性保留或替换参考图像区域来实现外观编辑。
• 通过噪声的球面线性插值与风格特征的线性插值实现风格插值，实现图像间平滑的风格过渡。
• 在DeepFashion和Market-1501上端到端训练模型，采用带有注意力机制的U-Net主干网络及学习得到的噪声调度策略。

Figure 1 : (a) Our proposed PIDM is a denoising diffusion model where the generative path is conditioned on the pose and style. PIDM breaks down the problem into a series of forward-backward diffusion steps to learn the plausible transfer trajectories. (b) Comparison of PIDM with the recently introd

实验结果

研究问题

• RQ1 基于扩散的方法是否能在生成逼真人像图像并实现精确姿态与外观控制方面超越GAN？
• RQ2 扩散模型在缺乏语义分割图或3D对应点等密集监督的情况下，能否有效学习复杂的外观-姿态对应关系？
• RQ3 解耦的无分类器指导在多大程度上提升了输入条件与生成输出之间的对齐程度？
• RQ4 PIDM生成的图像能否作为下游任务（如行人重识别）中有效的数据增强手段？
• RQ5 在基准数据集上，PIDM与现有最先进方法相比，在多样性与保真度方面表现如何？

主要发现

• PIDM在DeepFashion和Market-1501上均达到新的最先进水平，FID分数分别为10.2和11.8，优于先前方法。
• 采用解耦无分类器指导后，相比仅使用纹理扩散的基线模型，FID降低1.1462，SSIM提升0.0134，LPIPS降低0.0194。
• 在用户评估中，人类评价者更偏好PIDM生成的图像，认为其在真实感、清晰度和外观一致性方面表现更优，尤其在复杂姿态和遮挡情况下优势明显。
• 该模型可实现无缝外观编辑：成功将源图像的纹理融合到参考图像中，同时保持结构一致性。
• 通过DDIM采样实现的风格插值可生成平滑、自然的风格过渡，展现出良好的可控性与视觉质量。
• 在行人重识别任务中作为数据增强使用时，当在100%真实训练集基础上增加30,000张合成图像，PIDM使Market-1501上的mAP提升至78.4%，超越先前方法。

Figure 2 : (a) The proposed PIDM framework is a UNet-based network composed of a noise prediction module $\mathcal{H}_{N}$ and a texture encoder $\mathcal{H}_{E}$ . The encoder $\mathcal{H}_{E}$ encodes the texture patterns of the source image $\bm{x}_{s}$ . To obtain multi-scale features, we derive