[论文解读] Normalization of Neural Networks using Analytic Variance Propagation

Alexander Shekhovtsov, Boris Flach|arXiv (Cornell University)|Mar 28, 2018

Neural Networks and Applications参考文献 18被引用 8

一句话总结

本文提出解析方差传播（AP）方法，通过不依赖批量统计量的方式计算神经网络激活的均值与方差统计量，实现高效且与批量大小无关的归一化。通过利用权重和激活统计量，将输入统计量解析地传播至网络各层，AP 提供了一种稳定、可微分的初始化方式，减少了饱和现象并提升了训练鲁棒性，尽管由于缺乏随机性和运行平均值，其泛化性能不及批量归一化。

ABSTRACT

We address the problem of estimating statistics of hidden units in a neural network using a method of analytic moment propagation. These statistics are useful for approximate whitening of the inputs in front of saturating non-linearities such as a sigmoid function. This is important for initialization of training and for reducing the accumulated scale and bias dependencies (compensating covariate shift), which presumably eases the learning. In batch normalization, which is currently a very widely applied technique, sample estimates of statistics of hidden units over a batch are used. The proposed estimation uses an analytic propagation of mean and variance of the training set through the network. The result depends on the network structure and its current weights but not on the specific batch input. The estimates are suitable for initialization and normalization, efficient to compute and independent of the batch size. The experimental verification well supports these claims. However, the method does not share the generalization properties of BN, to which our experiments give some additional insight.

研究动机与目标

• 为解决批量归一化存在的不稳定性和批量大小依赖性问题，提出一种不依赖数据、基于解析方法的激活统计量估计方式。
• 通过准确估计均值与方差，减少非线性单元中的饱和现象，从而改进网络初始化。
• 实现高效、连续且可微分的归一化，适用于前馈网络与循环网络。
• 提供一种稳定的批量归一化替代方案，避免在推理模式下出现的泛化差距。

提出的方法

• 使用解析矩传播方法，基于输入统计量与网络权重，计算隐藏单元激活的期望均值与方差。
• 在全连接层与卷积层中应用一阶与二阶矩传播规则，假设输入独立且变换为线性。
• 利用网络当前权重与输入分布矩，推导出每层输出均值与方差的闭式表达式。
• 引入一个归一化层，执行变换 $ X' = \frac{X - \mu}{\sigma} s + b $，其中 $ \mu $ 与 $ \sigma^2 $ 为解析计算所得。
• 通过基于解析统计量而非批量估计来初始化 $ s $ 与 $ b $，支持标准归一化与权重归一化。
• 在推理时可即插即用，无需批量统计量，适用于循环网络与在线学习场景。

实验结果

研究问题

• RQ1 解析方差传播能否为深层网络中的归一化提供稳定且与批量大小无关的激活统计量估计？
• RQ2 在训练稳定性与收敛速度方面，解析归一化与批量归一化相比表现如何？
• RQ3 与标准归一化或权重归一化相比，该方法是否能更有效地提升对不良权重初始化的鲁棒性？
• RQ4 尽管训练性能相似，为何批量归一化在泛化性能上仍优于解析归一化？
• RQ5 解析归一化能否与正交初始化或其他结构化权重初始化方法有效结合？

主要发现

• 解析方差传播能够提供稳定、确定性的激活统计量估计，与批量大小无关，从而在不同输入批次间实现一致的归一化。
• 该方法显著提升了对不良初始化的训练鲁棒性，在收敛速度与最终目标值方面优于标准归一化与权重归一化。
• 尽管训练性能与批量归一化相当，但该方法未能实现相同的泛化性能提升，表明批量归一化中的随机性与运行平均统计量对泛化具有关键作用。
• 在噪声MNIST与CIFAR-10实验中，AP2（使用二阶统计量的解析传播）在所有初始化方案下均表现出一致的训练性能，而批量归一化在非理想初始化下表现出不稳定性。
• 该方法计算高效且可微分，适用于循环网络与在线学习场景的部署。
• AP在泛化性能上未见提升，表明批量归一化中的随机性与运行统计量在泛化中起关键作用，可能通过隐式集成效应实现。