[论文解读] Positional Normalization

Boyi Li, Felix Wu+2 more|arXiv (Cornell University)|Jul 9, 2019

Generative Adversarial Networks and Image Synthesis参考文献 69被引用 8

一句话总结

本文提出位置归一化（PONO），一种新颖的归一化方法，该方法在通道维度上独立地对每个空间位置的激活进行归一化，通过学习得到的均值和标准差捕捉并保留结构化的图像特征。通过将这些统计量通过一个时刻捷径（MS）连接注入网络，PONO提升了生成模型的性能，在某些设置下将FID分数降低了高达40%，同时增强了训练稳定性。

ABSTRACT

A popular method to reduce the training time of deep neural networks is to normalize activations at each layer. Although various normalization schemes have been proposed, they all follow a common theme: normalize across spatial dimensions and discard the extracted statistics. In this paper, we propose an alternative normalization method that noticeably departs from this convention and normalizes exclusively across channels. We argue that the channel dimension is naturally appealing as it allows us to extract the first and second moments of features extracted at a particular image position. These moments capture structural information about the input image and extracted features, which opens a new avenue along which a network can benefit from feature normalization: Instead of disregarding the normalization constants, we propose to re-inject them into later layers to preserve or transfer structural information in generative networks. Codes are available at https://github.com/Boyiliee/PONO.

研究动机与目标

• 解决现有归一化方法在训练过程中丢弃空间相关统计特征的局限性。
• 通过学习得到的均值和标准差，将输入图像中的结构信息保留并重新注入生成网络。
• 提升生成模型的性能与稳定性，特别是在图像翻译与合成任务中。
• 探索一种新范式：归一化统计量不再被丢弃，而是被重用为结构先验。
• 证明PONO与现有归一化技术（如批量归一化）具有互补性，并可无缝集成。

提出的方法

• PONO在通道维度上独立地对每个空间位置的激活进行归一化，为每个位置计算均值μ和标准差σ。
• 与传统归一化不同，PONO将一阶和二阶矩（μ和σ）作为结构先验保留，而非丢弃。
• 时刻捷径（MS）连接将早期层中的μ和σ重新注入到深层，以保留结构信息。
• PONO被设计为与现有归一化方法（如批量归一化）兼容，支持联合应用。
• 该方法实现代码开销极小，可应用于多种架构，包括图像生成与翻译模型。
• 在某些模型（如MUNIT’）中，于输出前引入一个类似残差的层，以更好地建模μ和σ的非线性变换。

实验结果

研究问题

• RQ1 保留并重用早期层中的通道统计量是否能提升生成模型的性能？
• RQ2 PONO是否能增强图像翻译与合成任务中的训练稳定性与泛化能力？
• RQ3 PONO能否与现有归一化技术（如批量归一化）有效结合？
• RQ4 所提取的μ和σ值在多大程度上捕捉了输入图像的有意义结构信息？
• RQ5 与基线模型相比，时刻捷径连接是否在FID和感知度量上带来显著提升？

主要发现

• 在Cat→Dog翻译任务中，PONO-MS将FID从245.0降低至159.4，提升35%，同时LPIPS内容误差下降30%。
• 在Portrait→Photo任务中，DRIT的FID从104.5降至99.5，MUNIT的FID从149.6降至125.1，表明性能持续提升。
• MUNIT’ + PONO-MS相比MUNIT’单独使用，FID降低了65%，证明为μ和σ处理增加单个残差层具有显著优势。
• PONO-MS在DRIT上表现仅略有提升，但在MUNIT上则有显著增益，表明其对模型架构与容量具有敏感性。
• 该方法在多个数据集与架构上同时提升了FID与感知度量（LPIPS），表明图像质量与结构保真度得到增强。
• PONO-MS增强了训练稳定性，并实现了结构与风格特征的更好解耦，类似于实例归一化对风格的处理方式。