[论文解读] Powers of layers for image-to-image translation

Hugo Touvron, Matthijs Douze+2 more|arXiv (Cornell University)|Aug 13, 2020

Generative Adversarial Networks and Image Synthesis参考文献 43被引用 5

一句话总结

本文提出了一种轻量级、参数高效的无配对图像到图像翻译架构——Powers of Layers（PoL），该架构在固定自编码器的潜在空间中迭代应用单一可学习残差块。其性能与CycleGAN相当或更优，但参数量显著减少，支持可调节的变换强度和跨任务的可组合性。

ABSTRACT

We propose a simple architecture to address unpaired image-to-image translation tasks: style or class transfer, denoising, deblurring, deblocking, etc. We start from an image autoencoder architecture with fixed weights. For each task we learn a residual block operating in the latent space, which is iteratively called until the target domain is reached. A specific training schedule is required to alleviate the exponentiation effect of the iterations. At test time, it offers several advantages: the number of weight parameters is limited and the compositional design allows one to modulate the strength of the transformation with the number of iterations. This is useful, for instance, when the type or amount of noise to suppress is not known in advance. Experimentally, we provide proofs of concepts showing the interest of our method for many transformations. The performance of our model is comparable or better than CycleGAN with significantly fewer parameters.

研究动机与目标

• 解决无配对训练数据下的图像到图像翻译任务，如风格迁移、去噪和去模糊。
• 开发一种参数高效的架构，在最小化模型尺寸的同时保持高性能。
• 通过在推理时调整单一残差块的迭代次数，实现对变换强度的动态控制。
• 通过在共享潜在空间中堆叠多个任务特定的残差块，实现变换的可组合性。
• 提供一种训练方案，以稳定迭代组合过程，避免指数效应导致的性能退化。

提出的方法

• 使用预训练的、权重固定的自编码器从输入图像中提取潜在表征。
• 在潜在空间中训练单一残差块，以学习从域A到域B的映射。
• 在推理阶段迭代应用该残差块，迭代次数调节变换强度。
• 采用渐进式训练策略，以稳定迭代变换的优化过程，防止发散。
• 训练期间使用判别器引导变换，但允许基于对抗反馈自动停止迭代。
• 通过在共享潜在空间中冻结并堆叠任务特定的残差块，实现变换的可组合性。

实验结果

研究问题

• RQ1 能否在固定自编码器的潜在空间中，通过单一可重用的残差块实现无配对图像到图像翻译的竞争力性能？
• RQ2 对单一残差块进行迭代应用，是否可在不重新训练的情况下实现可调节的变换强度？
• RQ3 同一潜在空间能否支持多种图像操作的可组合变换（如先去噪后风格迁移）？
• RQ4 与CycleGAN相比，所提方法在FID、视觉质量和参数效率方面的表现如何？
• RQ5 该模型能否在不改变架构的前提下泛化到高分辨率图像和复杂任务（如去模糊和去块效应）？

主要发现

• 在Summer→Winter任务中，PoL的平均FID为46.1，而CycleGAN为48.8；在Horse→Zebra任务中，PoL为53.0，CycleGAN为89.7，表明性能相当或更优。
• 在Monet→Photo翻译任务中，PoL的FID为70.3，而CycleGAN为60.3，尽管参数更少，仍表现出强劲性能。
• 与CycleGAN相比，该方法显著减少了模型参数量，同时保持或提升了视觉质量，尤其在高分辨率设置下表现更优。
• 高分辨率训练使模型能够生成如斑马条纹等精细细节，且尺度准确，而低分辨率模型则无法实现。
• 在潜在空间中组合变换（如先去噪后风格迁移）的效果优于中间解码与重新编码的流程。
• 推理时可使用判别器动态确定最优迭代次数，从而实现自适应的变换强度。