[论文解读] Unsupervised Visual Attribute Transfer with Reconfigurable Generative Adversarial Networks

Taek‐Soo Kim, Byoungjip Kim+2 more|arXiv (Cornell University)|Jul 31, 2017

Generative Adversarial Networks and Image Synthesis参考文献 17被引用 30

一句话总结

本文提出了一种基于可重构生成对抗网络的无监督视觉属性迁移方法，可在无需成对训练数据的情况下实现实例级别的属性迁移。通过结合领域级 GAN 图像翻译、反向迁移和属性一致性目标，该模型能够将参考图像中的特定属性细节（例如发色、刘海、微笑）迁移到源图像，同时保持身份特征和非目标属性不变，在单一统一框架中实现了鲁棒、多路复用且可重构的属性迁移。

ABSTRACT

Learning to transfer visual attributes requires supervision dataset. Corresponding images with varying attribute values with the same identity are required for learning the transfer function. This largely limits their applications, because capturing them is often a difficult task. To address the issue, we propose an unsupervised method to learn to transfer visual attribute. The proposed method can learn the transfer function without any corresponding images. Inspecting visualization results from various unsupervised attribute transfer tasks, we verify the effectiveness of the proposed method.

研究动机与目标

• 解决现有图像到图像翻译方法依赖成对训练数据且无法实现实例级别属性迁移的局限性。
• 仅使用领域级标签（例如“有刘海”、“金发”）而无需密集或成对标注，实现无监督、实例级别的视觉属性迁移。
• 开发一个单一、可重构的模型，能够同时迁移多个属性，避免为每个属性单独训练模型。
• 通过引入反向迁移和属性一致性目标，实现在迁移过程中保持身份特征和非目标属性不变。

提出的方法

• 该模型采用可重构 GAN 架构，支持根据不同属性迁移任务进行动态重构。
• 采用领域级 GAN 损失，确保迁移后的图像在目标领域中与真实图像难以区分。
• 反向迁移目标强制要求可将迁移后的属性还原回原始源图像，从而保持身份和非目标属性不变。
• 属性一致性目标确保从结果图像中将属性重新迁移到参考图像时，能恢复原始参考图像的属性细节。
• 该方法使用解耦的属性空间，将属性（例如发色、刘海、微笑）建模为独立的高层特征。
• 通过联合使用对抗损失、循环一致性损失和属性一致性损失，实现端到端训练，从而支持无监督、实例级别的属性迁移。

实验结果

研究问题

• RQ1 是否可以在无需成对训练数据或密集属性标注的情况下实现视觉属性迁移？
• RQ2 单一模型是否能够实现实例级别的属性迁移，同时保持身份和非目标属性不变？
• RQ3 该模型是否能在统一、可重构的框架中支持多路复用属性迁移——即同时修改多个属性？
• RQ4 该模型在不同属性类型（如面部属性、物体类型和3D物体角度）上的泛化能力如何？

主要发现

• 该模型成功实现了无需任何成对图像或密集标注的实例级别视觉属性迁移，仅依赖领域级标签。
• t-SNE 可视化结果表明，所学习的属性向量（例如“刘海”、“微笑”、“发色”）在特征空间中分离良好且语义明确。
• 该模型实现了高质量的领域级迁移效果，例如将发色更改为黑色、棕色或金色，或将物体类型从人脸成功迁移至汽车并保持正确的方位角。
• 该模型支持多路复用属性迁移，可在单次前向传播中同时修改多个属性（例如发色和微笑）。
• 反向迁移和属性一致性目标显著提升了身份保持能力和属性保真度，这一结果在多种数据集的定性分析中得到验证。
• 该框架在多种领域中表现出强鲁棒性，包括 CelebA、3D 汽车和人脸数据集，以及时尚属性迁移任务。