[论文解读] Semi-supervised Learning for Few-shot Image-to-Image Translation

Yaxing Wang, Salman Khan+3 more|arXiv (Cornell University)|Mar 30, 2020

Generative Adversarial Networks and Image Synthesis参考文献 43被引用 4

一句话总结

本文提出 SEMIT，一种半监督少样本图像到图像翻译方法，通过噪声容忍的伪标签化和循环一致性，减少对标注源图像的依赖。该方法仅使用 20% 的标注源数据，即可实现与全监督模型相当的性能，并在四个数据集上仅使用 10% 的标注数据即达到最先进水平。

ABSTRACT

In the last few years, unpaired image-to-image translation has witnessed remarkable progress. Although the latest methods are able to generate realistic images, they crucially rely on a large number of labeled images. Recently, some methods have tackled the challenging setting of few-shot image-to-image translation, reducing the labeled data requirements for the target domain during inference. In this work, we go one step further and reduce the amount of required labeled data also from the source domain during training. To do so, we propose applying semi-supervised learning via a noise-tolerant pseudo-labeling procedure. We also apply a cycle consistency constraint to further exploit the information from unlabeled images, either from the same dataset or external. Additionally, we propose several structural modifications to facilitate the image translation task under these circumstances. Our semi-supervised method for few-shot image translation, called SEMIT, achieves excellent results on four different datasets using as little as 10% of the source labels, and matches the performance of the main fully-supervised competitor using only 20% labeled data. Our code and models are made public at: https://github.com/yaxingwang/SEMIT.

研究动机与目标

• 解决图像到图像翻译中大规模标注数据集获取成本高且不切实际的问题。
• 克服现有少样本方法在训练期间需要大量标注源数据的局限性。
• 探索一种新型的半监督少样本 I2I 翻译设置，即在训练期间仅从源域获取有限的标注数据。
• 通过鲁棒的伪标签化和循环一致性，有效利用未标注的源图像（包括外部数据），提升泛化能力和性能。
• 开发通用的架构增强方法（如 OctConv 和熵调节），以提升低数据环境下学习效率。

提出的方法

• 应用噪声容忍的伪标签化过程，基于初始少量标注图像，为未标注的源图像分配软标签。
• 集成循环一致性损失，以保持内容一致性并利用来自同一数据集和外部来源的未标注图像信息。
• 引入八分之一卷积（Octave Convolution, OctConv），以解耦高频和低频特征，使学习聚焦于对翻译至关重要的高频图像细节。
• 应用熵调节，以鼓励域不变的潜在表征，提升对未见目标域的泛化能力。
• 采用多阶段训练策略，联合优化伪标签化、循环一致性损失和分类损失（针对标注数据），以协同优化翻译模型。
• 在域内和外部未标注数据上联合训练模型，不对外部数据应用分类损失，以避免分布偏移。

实验结果

研究问题

• RQ1 半监督学习是否能在不牺牲性能的前提下，降低少样本图像到图像翻译中对标注源图像的依赖？
• RQ2 在低数据环境下，噪声容忍的伪标签化在从未标注源图像生成可靠监督信号方面有多有效？
• RQ3 在少样本 I2I 翻译中，将循环一致性损失应用于未标注数据时，其性能提升程度如何？
• RQ4 像 OctConv 和熵调节这样的架构改进，是否能增强在标注数据有限情况下的模型泛化能力？
• RQ5 当在域内和外部未标注数据的组合上进行训练时，模型是否能泛化到未见的目标域？

主要发现

• SEMIT 仅使用 20% 的标注源数据，即可实现与全监督 FUNIT 相当的性能，在 Animals 数据集上的 mFID 为 65.21，与 FUNIT 在 100% 数据下的 66.14 相当。
• 仅使用 10% 的标注源数据，SEMIT 在 Flowers 数据集上的 mFID 为 71.49，优于 FUNIT 在 100% 标注数据下的 72.64。
• 在 Birds 数据集上，SEMIT 使用 20% 标注数据（mFID 65.42）与 FUNIT 在 100% 标注数据下的性能（mFID 66.14）相当。
• 在低数据环境下，SEMIT 生成的目标特定图像比 FUNIT 更真实、更清晰，尤其在 Flowers 等具有挑战性的数据集上表现更优。
• 在扩展数据集（如 Animals++ 和 Birds++）上联合训练可提升视觉质量，证明了模型利用外部未标注数据的能力。
• 该方法在 1-shot 和 5-shot 设置下仍保持强劲性能，SEMIT-1 在 Animals 和 Birds 数据集的所有指标上均表现具有竞争力。