[论文解读] Proxy-Normalizing Activations to Match Batch Normalization while Removing Batch Dependence

Antoine Labatie, Dominic Masters+2 more|arXiv (Cornell University)|Jun 7, 2021

Adversarial Robustness in Machine Learning参考文献 84被引用 7

一句话总结

本文提出代理归一化（Proxy Normalization, PN），一种与小批量无关的归一化技术，通过使用学习得到的代理分布对激活后特征进行归一化，从而模拟批量归一化（Batch Normalization, BN）的有益特性（如尺度不变性与稳定的激活统计特性）。当与层归一化或组归一化结合使用时，PN 在多种视觉任务中达到或超越 BN 的性能，尤其在小批量设置下 BN 性能下降时表现更优。

ABSTRACT

We investigate the reasons for the performance degradation incurred with batch-independent normalization. We find that the prototypical techniques of layer normalization and instance normalization both induce the appearance of failure modes in the neural network's pre-activations: (i) layer normalization induces a collapse towards channel-wise constant functions; (ii) instance normalization induces a lack of variability in instance statistics, symptomatic of an alteration of the expressivity. To alleviate failure mode (i) without aggravating failure mode (ii), we introduce the technique "Proxy Normalization" that normalizes post-activations using a proxy distribution. When combined with layer normalization or group normalization, this batch-independent normalization emulates batch normalization's behavior and consistently matches or exceeds its performance.

研究动机与目标

• 识别为何如层归一化（LayerNorm）和实例归一化（InstanceNorm）等与小批量无关的归一化技术在深层网络中失败，尽管其被广泛使用。
• 分析这些技术引发的具体失效模式，例如通道级坍塌和统计可变性丧失。
• 开发一种归一化方法，保留批量归一化关键优势（如尺度不变性与稳定的激活动态），同时消除对小批量统计的依赖。
• 证明将代理归一化与现有归一化方法结合可在多个基准上一致地达到或超越批量归一化的性能。

提出的方法

• 提出一个新框架，通过四种统计特性（预激活的均值、方差、通道级方差与通道级协方差）来表征归一化对神经网络行为的影响。
• 提出代理归一化（PN），其使用来自参考分布的期望激活统计量推导出的代理分布，对激活后特征进行归一化，而非依赖小批量统计量。
• 利用代理分布计算与当前小批量无关的归一化统计量，实现在不同小批量大小下稳定且一致的归一化。
• 将 PN 与层归一化或组归一化结合，构建一种与小批量无关的归一化方案，以模拟批量归一化的行为。
• 将归一化过程形式化为一个变换：$\tilde{\mathbf{z}}^{l}_{\alpha,c} = \frac{\mathbf{z}^{l}_{\alpha,c} - \mu_c(\mathbf{z}^l)}{\sqrt{\mathrm{Var}_{\mathbf{x},\alpha}[\mathbf{z}^{l}_{\alpha,c}]}}$，其中 $\mu_c$ 和 $\mathrm{Var}$ 由代理分布计算得出。
• 理论上证明，在高斯假设且不引入额外参数的条件下，PN 能够在每个通道中保持零均值与单位方差，从而确保稳定性并兼容 BN 的不变性特性。

实验结果

研究问题

• RQ1 标准的与小批量无关的归一化技术（如层归一化和实例归一化）在深层网络中会引发哪些具体失效模式？
• RQ2 为何批量归一化在小批量设置下性能下降？这种退化是否可在不重新引入小批量依赖的前提下得到缓解？
• RQ3 能否设计一种与小批量无关的归一化方法，在不依赖小批量统计量的前提下复制批量归一化的关键优势（如尺度不变性与稳定的激活动态）？
• RQ4 如何利用代理分布稳定归一化统计量，并在不同小批量大小下保持网络的表达能力？
• RQ5 将代理归一化与现有与小批量无关的归一化方法（如层归一化）结合，是否能在多个基准上实现一致的性能提升，超越批量归一化？

主要发现

• 代理归一化成功缓解了与小批量无关归一化技术的两种主要失效模式：层归一化中的通道级坍塌与实例归一化中实例级可变性的丧失。
• 当与层归一化或组归一化结合使用时，代理归一化在 ImageNet 及其他视觉基准测试中达到或超越了批量归一化的性能，即使在小批量设置下亦是如此。
• 该方法保持了尺度不变性与稳定的激活方差，这些关键特性使得深层残差网络能够成功训练。
• 理论分析表明，在高斯假设且不引入额外参数的条件下，代理归一化在每个通道中均能保持零均值与单位方差，从而确保稳定性。
• 实验结果表明，该方法在多种架构与数据集上均表现出一致的性能提升，证实代理分布能有效稳定归一化过程，且无需依赖小批量。
• 该方法使使用小批量甚至单一样本训练成为可能，同时保持与全批量 BN 相当的性能，适用于低资源或非独立同分布（non-i.i.d.）的训练场景。