[论文解读] Reusing Discriminators for Encoding: Towards Unsupervised Image-to-Image Translation

Runfa Chen, Wenbing Huang+3 more|arXiv (Cornell University)|Feb 29, 2020

Generative Adversarial Networks and Image Synthesis参考文献 36被引用 14

一句话总结

该论文提出NICE-GAN，一种新颖的无监督图像到图像翻译框架，通过重用判别器的早期层作为目标域的即插即用编码器，消除了对独立编码器的需求。通过将编码器训练与生成器解耦，并仅通过GAN对抗损失进行训练，该方法实现了更紧凑、更高效的架构，在四个数据集上的FID、KID和人工偏好基准测试中均优于当前最先进方法。

ABSTRACT

Unsupervised image-to-image translation is a central task in computer vision. Current translation frameworks will abandon the discriminator once the training process is completed. This paper contends a novel role of the discriminator by reusing it for encoding the images of the target domain. The proposed architecture, termed as NICE-GAN, exhibits two advantageous patterns over previous approaches: First, it is more compact since no independent encoding component is required; Second, this plug-in encoder is directly trained by the adversary loss, making it more informative and trained more effectively if a multi-scale discriminator is applied. The main issue in NICE-GAN is the coupling of translation with discrimination along the encoder, which could incur training inconsistency when we play the min-max game via GAN. To tackle this issue, we develop a decoupled training strategy by which the encoder is only trained when maximizing the adversary loss while keeping frozen otherwise. Extensive experiments on four popular benchmarks demonstrate the superior performance of NICE-GAN over state-of-the-art methods in terms of FID, KID, and also human preference. Comprehensive ablation studies are also carried out to isolate the validity of each proposed component. Our codes are available at https://github.com/alpc91/NICE-GAN-pytorch.

研究动机与目标

• 重新思考判别器在基于GAN的图像翻译框架中超越分类任务的角色。
• 通过重用判别器的早期层作为目标域的共享编码器，消除对独立编码器的需求。
• 解决当编码器在生成器和判别器之间共享时，因梯度冲突导致的训练不稳定性问题。
• 提出一种解耦训练策略，以提升训练稳定性和编码器质量。
• 证明通过判别方式训练的编码器所学习的特征比通过生成方式训练的更具信息量。

提出的方法

• 重用判别器的早期卷积层作为目标域的共享编码器，替代独立的编码器组件。
• 采用多尺度判别器架构以增强特征表达能力，该编码器自然继承这一特性。
• 引入一种解耦训练范式，其中编码器仅在判别器训练期间更新（最大化GAN损失），而不在生成器训练期间更新。
• 在保持循环一致性与重建损失以保障翻译保真度的同时，通过对抗目标独立训练编码器。
• 将判别器内部特征用作潜在表示，实现端到端训练，共享参数，降低模型复杂度。
• 采用改进的GAN目标函数，使编码器训练目标为提升判别能力而非翻译性能，确保梯度一致性。

实验结果

研究问题

• RQ1 判别器的内部特征能否被有效重用于无监督图像翻译中的有意义编码器？
• RQ2 将判别器重用于编码器是否能带来更紧凑高效的模型架构？
• RQ3 将编码器训练与生成器训练解耦后，对训练稳定性和性能有何影响？
• RQ4 基于判别器的编码器是否能在特征质量和翻译保真度方面优于传统独立编码器？
• RQ5 多尺度判别器和共享层对框架整体性能有何影响？

主要发现

• NICE-GAN在四个基准数据集上达到最先进性能，在FID、KID和人工偏好评估中均优于现有方法。
• 解耦训练策略显著提升训练稳定性和性能，NICE-GAN在所有指标上均优于NICE-GAN-1（联合训练）和NICE-GAN-2（相反解耦）方案。
• 从多尺度判别器中移除最高尺度特征图（$C^2_x$）导致性能严重下降，表明其在特征学习中起关键作用。
• 在生成器和判别器之间共享完整编码器可获得最优性能，而减少或增加共享层数均导致性能下降。
• 在生成器或判别器之间共享参数的权重耦合策略导致显著性能下降，凸显了所提解耦设计的优势。
• t-SNE可视化与MMD分析证实，NICE-GAN学习到的潜在表示比基线方法更具解耦性与域对齐性。