[论文解读] STGAN: A Unified Selective Transfer Network for Arbitrary Image Attribute Editing

Ming Liu, Yukang Ding+5 more|arXiv (Cornell University)|Apr 22, 2019

Generative Adversarial Networks and Image Synthesis参考文献 32被引用 20

一句话总结

STGAN 通过使用目标属性向量与源属性向量之间的差异作为输入，而非完整的目标准向量，提出了一种统一的可选择性迁移网络，以实现任意图像属性编辑。该方法提升了训练稳定性，并聚焦于相关属性。它引入了选择性迁移单元（STUs），可自适应地修改编码器特征，从而在属性操控精度和图像质量方面均取得提升，在面部属性编辑和季节转换任务中优于当前最先进方法。

ABSTRACT

Arbitrary attribute editing generally can be tackled by incorporating encoder-decoder and generative adversarial networks. However, the bottleneck layer in encoder-decoder usually gives rise to blurry and low quality editing result. And adding skip connections improves image quality at the cost of weakened attribute manipulation ability. Moreover, existing methods exploit target attribute vector to guide the flexible translation to desired target domain. In this work, we suggest to address these issues from selective transfer perspective. Considering that specific editing task is certainly only related to the changed attributes instead of all target attributes, our model selectively takes the difference between target and source attribute vectors as input. Furthermore, selective transfer units are incorporated with encoder-decoder to adaptively select and modify encoder feature for enhanced attribute editing. Experiments show that our method (i.e., STGAN) simultaneously improves attribute manipulation accuracy as well as perception quality, and performs favorably against state-of-the-arts in arbitrary facial attribute editing and season translation.

研究动机与目标

• 解决属性编辑中图像质量和属性操控能力之间的权衡问题。
• 降低全量目标属性向量对图像重建和视觉保真度的负面影响。
• 通过仅聚焦于发生变化的属性，提升任意属性编辑的灵活性和准确性。
• 开发一个统一模型，有效处理局部和全局属性编辑。
• 提升训练稳定性，并增强编码器-解码器各层之间的特征一致性。

提出的方法

• 模型输入目标与源属性之间的差异向量，而非完整的目标准向量，以减少无关引导。
• 在每个编码器-解码器层引入选择性迁移单元（STUs），根据差异向量和隐藏状态自适应地选择并修改编码器特征。
• STUs 使用可学习机制，将编码器特征、内部状态与差异属性向量结合，生成特定任务的特征修改。
• 将修改后的编码器特征与解码器特征拼接，以保留空间细节并提升重建质量。
• 该架构将 STUs 集成到标准编码器-解码器框架中，并保留跳跃连接，以维持高感知质量。
• 模型通过对抗损失、重建损失和身份损失进行训练，以确保编辑结果的真实感和准确性。

实验结果

研究问题

• RQ1 使用源属性与目标属性之间的差异向量，而非完整的目标向量，是否能改善图像重建并减少视觉伪影？
• RQ2 通过 STUs 实现的选择性特征修改，是否能同时提升属性操控精度和图像质量？
• RQ3 在性能权衡方面，选择性迁移机制与标准跳跃连接相比表现如何？
• RQ4 STU 机制是否能提升在多种属性类型（包括全局和细粒度属性）上的泛化能力？
• RQ5 该模型是否能在缺乏每对属性配对训练数据的情况下实现高质量编辑？

主要发现

• 在 CelebA 数据集上，STGAN 在属性生成精度方面优于 AttGAN、StarGAN 和 CycleGAN，尤其在 'Gender' 和 'Age' 等全局属性上取得显著提升。
• 使用差异属性向量可实现更好的图像重建效果并减少视觉退化，即使在无任何属性更改时亦然。
• STGAN-dst（使用完整目标向量）性能劣于 STGAN，证实聚焦于属性差异的优越性。
• STU 变体优于卷积和 GRU 基础的替代方案，且 STGAN-res 与 STGAN 无差异，表明 STUs 在选择性特征调制方面已达到最优。
• 用户研究表明，STGAN 在超过 50% 的对比中胜出，表明其具有出色的感知质量和真实感。
• 定性结果表明，STGAN 能生成高分辨率（384×384）的逼真编辑结果，伪影极少，属性迁移保持一致。