[论文解读] PA-GAN: Progressive Attention Generative Adversarial Network for Facial Attribute Editing

Zhenliang He, Meina Kan+2 more|arXiv (Cornell University)|Jul 12, 2020

Generative Adversarial Networks and Image Synthesis参考文献 39被引用 15

一句话总结

PA-GAN 提出了一种用于面部属性编辑的渐进式注意力生成对抗网络，通过从高层到低层的编码器特征图实现从粗到精、注意力引导的属性操作。通过为每个属性使用多个子掩码并进行渐进式优化，该方法在属性正确性（83.7% 准确率）与无关信息保留（5.47 L1 误差）之间实现了当前最优的平衡，优于 StarGAN 和 SaGAN 等方法在两项指标上的表现。

ABSTRACT

Facial attribute editing aims to manipulate attributes on the human face, e.g., adding a mustache or changing the hair color. Existing approaches suffer from a serious compromise between correct attribute generation and preservation of the other information such as identity and background, because they edit the attributes in the imprecise area. To resolve this dilemma, we propose a progressive attention GAN (PA-GAN) for facial attribute editing. In our approach, the editing is progressively conducted from high to low feature level while being constrained inside a proper attribute area by an attention mask at each level. This manner prevents undesired modifications to the irrelevant regions from the beginning, and then the network can focus more on correctly generating the attributes within a proper boundary at each level. As a result, our approach achieves correct attribute editing with irrelevant details much better preserved compared with the state-of-the-arts. Codes are released at https://github.com/LynnHo/PA-GAN-Tensorflow.

研究动机与目标

• 解决面部属性编辑中属性正确性与无关信息保留之间的权衡问题。
• 通过在多个特征层级上定义注意力区域，实现对属性操作的精确、局部化控制。
• 使用每个属性独立的注意力掩码，支持单模型下的多属性编辑。
• 通过从粗到精的逐步优化，提升模型的鲁棒性与生成质量。

提出的方法

• 模型采用编码器-解码器架构，在从高层到低层的特征图上进行渐进式注意力编辑。
• 在每个特征层级上，学习一个注意力掩码，将目标属性特征与原始特征融合，确保编辑操作局限于相关区域。
• 为不同属性使用多个子掩码，实现对多个属性的联合编辑，并具备精确的空间控制能力。
• 在注意力掩码生成过程中引入残差连接，以稳定训练并提升特征学习效果。
• 损失函数包括稀疏性损失，以鼓励生成紧凑的注意力掩码，以及重叠损失，以避免不同属性之间的掩码干扰。
• 网络通过对抗损失、重建损失和感知损失进行端到端训练，以确保生成结果的真实感与准确性。

实验结果

研究问题

• RQ1 在特征图上进行渐进式注意力编辑是否能改善属性正确性与无关信息保留之间的平衡？
• RQ2 多层级、从粗到精的编辑策略如何影响面部属性操作的质量与定位精度？
• RQ3 单个模型能否通过为每个属性使用独立的注意力掩码，有效处理多属性编辑而不导致性能下降？
• RQ4 残差连接以及辅助损失（稀疏性、重叠）对模型鲁棒性与准确率的贡献是什么？

主要发现

• PA-GAN 在 CelebA 数据集上实现了 83.7% 的属性编辑准确率，显著优于 StarGAN（74.1%）和 AttGAN（72.3%）。
• 无关信息保留误差为 5.47，远低于 StarGAN（10.2）和 AttGAN（9.8），表明其在身份和背景细节保留方面表现更优。
• 消融实验表明，若移除残差连接，准确率下降 5.1%，证明其对训练稳定性具有关键作用。
• 使用多个子掩码而非单一掩码，可使准确率提升 5.4%，表明按属性独立控制注意力具有显著优势。
• 稀疏性损失与重叠损失均对性能有贡献；若移除任一损失，误差与保留损失均会上升。
• 增加渐进式步骤数量可同时提升准确率与降低保留误差，验证了从粗到精策略的有效性。