[论文解读] Rethinking Spatially-Adaptive Normalization

Zhentao Tan, Dongdong Chen+6 more|arXiv (Cornell University)|Apr 6, 2020

Generative Adversarial Networks and Image Synthesis参考文献 21被引用 15

一句话总结

本文提出 CLADE，一种轻量级的类自适应归一化层，用于在语义图像合成中替代空间自适应归一化（SPADE）。与 SPADE 不同，SPADE 通过深层调制网络将归一化参数适应到空间位置，而 CLADE 仅基于语义类别调制特征，显著降低了计算和参数开销，同时保持了相当的视觉保真度。在 ADE20k 数据集上，CLADE 仅增加 4.57% 的参数和 0.07% 的 FLOPs，而 SPADE 分别为 39.21% 和 234.73%。

ABSTRACT

Spatially-adaptive normalization is remarkably successful recently in conditional semantic image synthesis, which modulates the normalized activation with spatially-varying transformations learned from semantic layouts, to preserve the semantic information from being washed away. Despite its impressive performance, a more thorough understanding of the true advantages inside the box is still highly demanded, to help reduce the significant computation and parameter overheads introduced by these new structures. In this paper, from a return-on-investment point of view, we present a deep analysis of the effectiveness of SPADE and observe that its advantages actually come mainly from its semantic-awareness rather than the spatial-adaptiveness. Inspired by this point, we propose class-adaptive normalization (CLADE), a lightweight variant that is not adaptive to spatial positions or layouts. Benefited from this design, CLADE greatly reduces the computation cost while still being able to preserve the semantic information during the generation. Extensive experiments on multiple challenging datasets demonstrate that while the resulting fidelity is on par with SPADE, its overhead is much cheaper than SPADE. Take the generator for ADE20k dataset as an example, the extra parameter and computation cost introduced by CLADE are only 4.57% and 0.07% while that of SPADE are 39.21% and 234.73% respectively.

研究动机与目标

• 探究 SPADE 在语义图像合成中取得成功的真实原因。
• 降低 SPADE 的空间自适应调制机制带来的高计算和参数开销。
• 探究仅具备语义感知能力——而无需空间自适应性——是否能有效保留语义信息。
• 设计一种更高效的归一化层，在最小计算成本下保持高视觉保真度。
• 为条件图像生成提供一种实用且轻量级的 SPADE 替代方案。

提出的方法

• 提出 CLADE，一种通过从语义掩码中提取的类特定统计量来调制批量归一化特征的归一化层，其调制与空间位置无关。
• 将生成器中的所有 SPADE 模块替换为 CLADE 模块，从而消除对深层双层调制网络的需求。
• 使用每个特征图位置的语义类别标签来确定缩放和位移参数，使适应方式变为按类别而非空间变化。
• 将 CLADE 集成到条件 GAN 框架中用于语义图像合成，支持无条件和风格引导的生成。
• 使用与 SPADE 相同的训练设置，通过对抗损失和感知损失进行端到端训练，以实现公平比较。
• 通过向生成器输入不同的噪声向量或参考风格图像，实现多模态生成。

实验结果

研究问题

• RQ1 SPADE 性能提升的真实来源究竟是空间自适应性还是语义感知能力？
• RQ2 一种仅具备类自适应性的归一化层是否能以显著降低的计算成本实现与 SPADE 相当的性能？
• RQ3 从 SPADE 中移除空间自适应性是否会导致视觉质量或布局对齐的显著下降？
• RQ4 CLADE 在多种数据集上的参数量和 FLOPs 开销与 SPADE 及基线方法相比如何？
• RQ5 CLADE 是否能像 SPADE 一样有效支持多模态和风格引导的图像生成？

主要发现

• 在 ADE20k、COCO-Stuff 和 Cityscapes 等多个数据集上，CLADE 实现了与 SPADE 相当的视觉保真度。
• 在 ADE20k 数据集上，CLADE 仅增加 4.57% 的参数和 0.07% 的 FLOPs，而 SPADE 分别为 39.21% 和 234.73%。
• CLADE 将模型大小减少至 SPADE 的约 74%，并将 FLOPs 减少约 4 倍，从而实现约 2 倍的推理速度提升。
• 用户研究表明，对 CLADE 和 SPADE 的偏好无显著差异，其中在 ADE20k 上有 48.375% 的用户更偏好 CLADE，表明其感知质量相当。
• CLADE 在用户偏好测试中优于 Pix2pixHD，尤其在 COCO-Stuff 数据集上（95% 偏好 CLADE），表现出更优的真实感。
• CLADE 有效支持多模态和风格引导的生成，能够通过不同的噪声向量或参考图像生成多样化且逼真的输出。