[论文解读] TSIT: A Simple and Versatile Framework for Image-to-Image Translation

Liming Jiang, Changxu Zhang+4 more|arXiv (Cornell University)|Jul 23, 2020

Generative Adversarial Networks and Image Synthesis参考文献 52被引用 6

一句话总结

TSIT 提出了一种简单且统一的图像到图像翻译框架，采用对称的双流网络结构，结合多尺度特征归一化（FADE 与 FAdaIN），联合建模内容结构与风格表征。该方法在无监督和有监督设置下均实现了最先进性能，无需循环一致性或任务特定约束，实现了高保真度、多模态的图像合成，并支持任意风格控制。

ABSTRACT

We introduce a simple and versatile framework for image-to-image translation. We unearth the importance of normalization layers, and provide a carefully designed two-stream generative model with newly proposed feature transformations in a coarse-to-fine fashion. This allows multi-scale semantic structure information and style representation to be effectively captured and fused by the network, permitting our method to scale to various tasks in both unsupervised and supervised settings. No additional constraints (e.g., cycle consistency) are needed, contributing to a very clean and simple method. Multi-modal image synthesis with arbitrary style control is made possible. A systematic study compares the proposed method with several state-of-the-art task-specific baselines, verifying its effectiveness in both perceptual quality and quantitative evaluations.

研究动机与目标

• 开发一种统一的、与任务无关的图像到图像翻译框架，适用于有监督和无监督设置。
• 消除对循环一致性等任务特定约束的依赖，以简化训练并提升泛化能力。
• 通过单一模型实现高质量、多模态的图像合成，并支持可控风格迁移。
• 通过从粗到细的多尺度归一化方案，提升语义结构与风格在特征层面的融合效果。
• 证明：仅通过精心设计的归一化层，一个简洁清晰的架构可超越复杂且任务特定的基线模型。

提出的方法

• 该框架采用对称的双流生成器：一路编码内容结构（内容流），另一路编码风格表征（风格流）。
• 从内容流应用特征自适应去归一化（FADE），通过多尺度特征上的自适应实例归一化保留空间结构。
• 从风格流使用特征自适应实例归一化（FAdaIN），在多个层级注入风格信息。
• 通过一致的特征变换方案融合两路特征，实现内容与风格联合条件下的从粗到细生成。
• 采用标准损失函数——对抗损失与感知损失——无需额外约束（如循环一致性或像素级监督）。
• 网络端到端训练，可直接应用于无监督任务（如任意风格迁移）和有监督任务（如语义图像合成）。

实验结果

研究问题

• RQ1 统一框架是否能在无需任务特定组件的情况下，实现多样图像到图像翻译任务的优异性能？
• RQ2 多尺度特征归一化（FADE 与 FAdaIN）在捕捉图像生成所需的语义结构与风格方面是否有效？
• RQ3 采用共享归一化方案的双流架构，是否在保真度与多样性方面优于单流或任务特定设计？
• RQ4 仅使用标准损失，模型是否能生成高质量、多模态输出并实现任意风格控制？
• RQ5 在逆向设置下（如使用有监督模型进行无监督翻译，或反之），该框架表现如何？

主要发现

• 在 ADE20K 数据集上，TSIT 的 mIoU 达到 65.9，准确率为 82.7%，优于先前方法（包括 SPADE 与 CC-FPSE）。
• 在 BDD100K 数据集上，TSIT 在多模态时间与天气转换任务中 FID 达到 31.6，与最先进基线相当或更优。
• 消融研究证实：移除内容流会导致结构伪影；移除风格流则会禁用多模态合成能力。
• 该方法在逆向设置下仍保持强性能，在任务不匹配时优于专用模型（如 MUNIT 与 SPADE）。
• FADE 与 FAdaIN 的使用实现了高保真、逼真图像生成，即使在具有挑战性的风格迁移条件下也极少出现伪影。
• TSIT 在多个基准测试中实现最先进性能，且无需依赖循环一致性或复杂的架构修改。