[论文解读] Sparsely Grouped Multi-task Generative Adversarial Networks for Facial Attribute Manipulation

Jichao Zhang, Yezhi Shu+5 more|arXiv (Cornell University)|May 19, 2018

Generative Adversarial Networks and Image Synthesis参考文献 65被引用 3

一句话总结

本文提出了一种稀疏分组生成对抗网络（SG-GAN），这是一种单输入多输出的 GAN 架构，仅需每组属性的少量标注样本即可实现高质量的面部属性操作。通过整合对未分组数据的精细化残差图像学习与无监督学习，SG-GAN 在稀疏分组数据集上实现了卓越性能——即使在极低监督条件下，其表现仍可与基线模型比肩或超越，同时有效保留身份与背景细节。

ABSTRACT

Recent Image-to-Image Translation algorithms have achieved significant progress in neural style transfer and image attribute manipulation tasks. However, existing approaches require exhaustively labelling training data, which is labor demanding, difficult to scale up, and hard to migrate into new domains. To overcome such a key limitation, we propose Sparsely Grouped Generative Adversarial Networks (SG-GAN) as a novel approach that can translate images on sparsely grouped datasets where only a few samples for training are labelled. Using a novel one-input multi-output architecture, SG-GAN is well-suited for tackling sparsely grouped learning and multi-task learning. The proposed model can translate images among multiple groups using only a single commonly trained model. To experimentally validate advantages of the new model, we apply the proposed method to tackle a series of attribute manipulation tasks for facial images. Experimental results demonstrate that SG-GAN can generate image translation results of comparable quality with baselines methods on adequately labelled datasets and results of superior quality on sparsely grouped datasets. The official implementation is publicly available:https://github.com/zhangqianhui/Sparsely-Grouped-GAN.

研究动机与目标

• 为解决监督图像到图像翻译中的高标注成本问题，提出一种仅需每组少量标注样本即可从稀疏分组数据集中学习的方法。
• 克服现有模型（如 StarGAN 和 ResidualGAN）的局限性，后者需要完全标注的成对数据，或在无配对、稀疏标注场景下表现不佳。
• 开发一种统一的单模型框架，实现无需逐属性重新训练即可进行多任务面部属性操作。
• 通过一种新型残差学习机制，稳定对抗训练过程，并在生成图像中保留身份与背景内容。

提出的方法

• 提出一种单输入多输出 GAN 架构，通过单一共享生成器与判别器，联合学习多个面部属性的转换。
• 引入精细化残差图像学习（RRIL）模块，将逐元素加法替换为特征拼接，以更好地学习输入特征与残差特征之间的算术关系。
• 采用改进的重建损失，将未分组（未标注）样本从损失计算中排除，从而实现在稀疏分组数据上的有效训练。
• 利用未分组数据的无监督学习，提升分类准确率并稳定对抗训练过程。
• 采用稀疏分组数据集设置，即每组属性仅少数样本被标注，其余样本用于无监督预训练。
• 应用对抗损失与身份损失，以保留内容信息并生成高保真、逼真的图像转换结果。

实验结果

研究问题

• RQ1 单个 GAN 模型是否能在每组仅使用少量标注样本的情况下，实现多个属性的高质量面部属性操作？
• RQ2 在低数据环境下，所提出的精细化残差图像学习机制相较于标准残差学习，如何提升图像转换质量？
• RQ3 在稀疏分组学习设置中，对未分组数据进行无监督学习在多大程度上能稳定训练过程并提升性能？
• RQ4 当在稀疏标签下训练时，SG-GAN 与 StarGAN 和 ResidualGAN 等现有模型相比，在视觉质量与身份保留方面表现如何？
• RQ5 当部分训练样本缺失原始标签时，重建损失设计对性能有何影响？

主要发现

• 即使每组仅使用 500 个标注样本进行训练，SG-GAN 的图像转换质量仍可与 StarGAN 和 ResidualGAN 等最先进模型比肩或超越。
• 精细化残差图像学习（RRIL）模块显著提升了转换质量，使性别属性预测的分类准确率从无残差学习时的 18.77% 提升至 93.26%。
• SG-GAN(500) 与 SG-GAN(5000) 的性能几乎与 SG-GAN(ALL) 一致，表明其对有限标注数据具有强鲁棒性。
• 模型能有效保留背景与身份特征，身份保留得分较高（例如，SG-GAN(All) 为 72，而 ResidualGAN 为 63）。
• 改进的重建损失（排除未分组样本）使 SG-GAN 能在稀疏分组数据上实现稳定训练，而标准 StarGAN 在此类设置下会失败。
• 视觉对比显示，SG-GAN 在相同稀疏数据下生成的图像比 StarGAN 更清晰、更逼真，尤其在保留面部结构方面表现更优。