[论文解读] Semantic Image Synthesis via Efficient Class-Adaptive Normalization

Zhentao Tan, Dongdong Chen+7 more|arXiv (Cornell University)|Dec 8, 2020

Generative Adversarial Networks and Image Synthesis参考文献 39被引用 5

一句话总结

本文提出 CLADE，一种轻量级的类别自适应归一化方法，用于在语义图像生成中替代 SPADE 的空间自适应归一化，从而在保持生成质量的同时降低计算成本和参数量。通过聚焦于语义类别自适应，并利用类内位置编码增强空间自适应性，CLADE-ICPE 在显著降低开销的同时实现了与 SPADE 相当的性能。

ABSTRACT

Spatially-adaptive normalization (SPADE) is remarkably successful recently in conditional semantic image synthesis, which modulates the normalized activation with spatially-varying transformations learned from semantic layouts, to prevent the semantic information from being washed away. Despite its impressive performance, a more thorough understanding of the advantages inside the box is still highly demanded to help reduce the significant computation and parameter overhead introduced by this novel structure. In this paper, from a return-on-investment point of view, we conduct an in-depth analysis of the effectiveness of this spatially-adaptive normalization and observe that its modulation parameters benefit more from semantic-awareness rather than spatial-adaptiveness, especially for high-resolution input masks. Inspired by this observation, we propose class-adaptive normalization (CLADE), a lightweight but equally-effective variant that is only adaptive to semantic class. In order to further improve spatial-adaptiveness, we introduce intra-class positional map encoding calculated from semantic layouts to modulate the normalization parameters of CLADE and propose a truly spatially-adaptive variant of CLADE, namely CLADE-ICPE. %Benefiting from this design, CLADE greatly reduces the computation cost while being able to preserve the semantic information in the generation. Through extensive experiments on multiple challenging datasets, we demonstrate that the proposed CLADE can be generalized to different SPADE-based methods while achieving comparable generation quality compared to SPADE, but it is much more efficient with fewer extra parameters and lower computational cost. The code is available at this https URL

研究动机与目标

• 降低 SPADE 在条件语义图像生成中作为最先进空间自适应归一化方法的计算和参数开销。
• 探究 SPADE 的有效性是否更多源于语义感知调制而非空间自适应性，尤其是在高分辨率设置下。
• 设计一种更高效的归一化机制，在最小化资源使用的同时保持高质量的生成效果。
• 通过类内位置图编码，引入真正意义上的空间自适应性，实现类别自适应归一化的改进版本。

提出的方法

• 提出类别自适应归一化（CLADE），其仅基于语义类别调制归一化统计量，从而消除空间可变变换的计算。
• 引入源自语义布局的类内位置图编码（ICPE），将空间上下文信息注入 CLADE 参数中。
• 通过结合类别自适应归一化与 ICPE 构建 CLADE-ICPE，实现类别感知与空间自适应调制的双重能力。
• 在语义图像生成基准数据集上端到端训练基于 CLADE 的模型，将现有架构中的 SPADE 模块替换为 CLADE。
• 为每个语义类别使用可学习嵌入，以生成归一化层中的缩放和偏移参数。
• 在生成器网络中应用所提出的归一化方法，以在特征变换过程中保留语义信息。

实验结果

研究问题

• RQ1 SPADE 的性能提升主要源于语义感知性，还是空间自适应性，尤其是在高分辨率语义布局中？
• RQ2 一种仅具备类别自适应性的归一化方法，是否能在显著降低计算成本的前提下实现与 SPADE 相当的生成质量？
• RQ3 如何在不引入高参数或计算开销的前提下，有效将空间自适应性重新引入类别自适应归一化框架？
• RQ4 CLADE 是否能在不同基于 SPADE 的图像生成架构中实现一致的效率与质量提升？
• RQ5 类内位置编码对生成图像中空间细节的保留有何影响？

主要发现

• 与 SPADE 相比，CLADE 在多个数据集上保持了相当的图像生成质量，同时显著降低了计算成本和参数开销。
• 消融实验表明，在高分辨率设置下，语义感知性对性能的贡献大于空间自适应性。
• 通过类内位置编码有效重新引入空间自适应性后，CLADE-ICPE 实现了与 SPADE 相当的性能表现。
• 该方法在不同基于 SPADE 的架构中均表现出良好的泛化能力，展现出强鲁棒性与可迁移性。
• 所提出方法在参数量更少、FLOPs 更低的情况下实现了最先进级别的效率，适用于实时或资源受限的应用场景。