[论文解读] Progressive and Aligned Pose Attention Transfer for Person Image Generation

Zhen Zhu, Tengteng Huang+4 more|arXiv (Cornell University)|Mar 22, 2021

Video Surveillance and Tracking Methods参考文献 66被引用 5

一句话总结

本文提出了一种渐进式且对齐的姿势注意力迁移网络，用于人物图像生成，通过级联的姿势注意力迁移模块（PATBs）和对齐的姿势注意力迁移模块（APATBs），实现高保真度、逼真的姿势迁移，并提升了外观和形状的一致性。该方法在Market-1501和DeepFashion数据集上达到最先进性能，并通过数据增强有效提升了人物重识别的准确率。

ABSTRACT

This paper proposes a new generative adversarial network for pose transfer, i.e., transferring the pose of a given person to a target pose. We design a progressive generator which comprises a sequence of transfer blocks. Each block performs an intermediate transfer step by modeling the relationship between the condition and the target poses with attention mechanism. Two types of blocks are introduced, namely Pose-Attentional Transfer Block (PATB) and Aligned Pose-Attentional Transfer Bloc ~(APATB). Compared with previous works, our model generates more photorealistic person images that retain better appearance consistency and shape consistency compared with input images. We verify the efficacy of the model on the Market-1501 and DeepFashion datasets, using quantitative and qualitative measures. Furthermore, we show that our method can be used for data augmentation for the person re-identification task, alleviating the issue of data insufficiency. Code and pretrained models are available at https://github.com/tengteng95/Pose-Transfer.git.

研究动机与目标

• 解决在大姿势变化下生成逼真人物图像并实现精确姿势迁移的挑战。
• 通过逐步建模局部流形结构，改善姿势迁移过程中的外观和形状一致性。
• 开发一种新型注意力机制，显式对齐源姿态与目标姿态，以实现更优的特征迁移。
• 证明生成图像在人物重识别任务中作为数据增强手段的有效性。
• 提供一种计算高效且可解释的框架，结合视觉注意力引导实现姿势迁移。

提出的方法

• 该方法采用由级联迁移模块组成的渐进式生成器，每个模块执行子步骤迁移，以简化全局流形的遍历。
• 每个模块使用基于姿势的注意力机制，根据人体姿势推断感兴趣区域，实现选择性特征迁移。
• 姿势注意力迁移模块（PATB）通过元素级乘法操作，利用注意力掩码调制外观特征。
• 对齐的姿势注意力迁移模块（APATB）通过计算源姿态与目标姿态之间的相似性矩阵，引入显式姿态对齐，以指导特征采样与定位。
• APATB支持“采样并放置”操作，将外观特征移动到由目标姿态决定的空间位置，从而提升特征保留能力。
• 网络通过对抗生成损失和对抗训练进行端到端优化，以增强生成图像的真实感与一致性。

实验结果

研究问题

• RQ1 渐进式、分块迁移策略是否能提升在大姿势变化下的图像生成质量与一致性？
• RQ2 通过相似性矩阵显式对齐源姿态与目标姿态，是否能增强特征迁移过程中的外观特征保留？
• RQ3 当真实数据有限时，该方法生成的图像能否作为人物重识别任务中的有效数据增强手段？
• RQ4 与先前最先进姿态迁移模型相比，该方法在定性和定量性能上表现如何？
• RQ5 模型性能在多大程度上依赖于姿态转换的复杂度以及背景的一致性？

主要发现

• 所提方法在Market-1501和DeepFashion数据集上均实现了卓越的视觉质量与定量性能，无论在指标表现还是真实感方面均优于先前最先进方法。
• 对齐的姿势注意力迁移模块（APATB）相比PATB显著提升了外观一致性，尤其在保留细粒度细节方面表现更优。
• 利用生成图像进行数据增强可有效提升人物重识别性能，在不同数据划分中均取得一致增益，尤其在真实数据稀缺时效果显著。
• 由生成数据带来的性能增益与真实数据增强效果相当，尤其在Inception-v2模型中表现出线性提升趋势，且随生成样本数量增加而持续改善。
• 即使目标姿态从整个数据集中随机采样，该方法仍保持强大性能，表明其对多样化姿态分布具有鲁棒性。
• APATN在Market-1501上的表现略逊于PATN，表明背景场景可能被过度简化，这或可作为未来改进方向。