[论文解读] Understanding Regularization in Batch Normalization

Ping Luo, Xinjiang Wang+2 more|arXiv (Cornell University)|Sep 4, 2018

Neural Networks and Applications被引用 4

一句话总结

本文从理论上理解了批归一化（BN）作为神经网络中隐式正则化器的作用，将其效果分解为总体归一化（PN）和伽马衰减。研究表明，BN通过统计力学机制实现更快的收敛速度和更大的学习率，并在卷积神经网络中得到验证。

ABSTRACT

Batch Normalization (BN) improves both convergence and generalization in training neural networks. This work understands these phenomena theoretically. We analyze BN by using a basic block of neural networks, consisting of a kernel layer, a BN layer, and a nonlinear activation function. This basic network helps us understand the impacts of BN in three aspects. First, by viewing BN as an implicit regularizer, BN can be decomposed into population normalization (PN) and gamma decay as an explicit regularization. Second, learning dynamics of BN and the regularization show that training converged with large maximum and effective learning rate. Third, generalization of BN is explored by using statistical mechanics. Experiments demonstrate that BN in convolutional neural networks share the same traits of regularization as the above analyses.

研究动机与目标

• 从理论上理解批归一化（BN）为何能提升训练收敛速度和模型泛化能力。
• 将BN分解为其组成部分：总体归一化（PN）和伽马衰减，明确其各自作用。
• 分析BN的学习动态，识别在何种条件下大学习率仍能实现收敛。
• 通过统计力学探讨泛化机制，将BN与损失曲面中的正则化效应联系起来。
• 在卷积神经网络中验证理论发现，确认其具有与理论预测一致的正则化特性。

提出的方法

• 分析一个由线性层、BN层和非线性激活函数组成的简单神经网络模块，以隔离BN的影响。
• 将BN分解为总体归一化（PN），即使用总体统计量进行归一化，以及伽马衰减，即显式正则化项。
• 利用梯度流分析建模BN的学习动态，研究在不同学习率下的收敛性。
• 应用统计力学工具研究泛化问题，将BN与损失曲面中的隐式正则化效应联系起来。
• 在卷积神经网络上开展实验，验证理论预测的正则化行为。

实验结果

研究问题

• RQ1 批归一化在深度神经网络中如何作为正则化器发挥作用？
• RQ2 总体归一化（PN）和伽马衰减对BN整体正则化效果的贡献分别是什么？
• RQ3 为何BN允许使用更大的最大学习率和有效学习率，同时仍能收敛？
• RQ4 BN如何提升泛化能力？这一机制能否通过统计力学解释？
• RQ5 基于简单网络模块的理论洞见是否在实际的卷积神经网络中依然成立？

主要发现

• 批归一化作为隐式正则化器，其效果可分解为总体归一化（PN）和伽马衰减作为显式正则化成分。
• BN的学习动态使得即使在大最大学习率和有效学习率下也能实现收敛，这得益于小批量统计量的稳定作用。
• 通过统计力学分析，BN的泛化能力与损失曲面复杂度的降低直接关联。
• 实验结果证实，卷积神经网络中的BN表现出与理论分析预测一致的正则化特性。
• 作为BN组成部分的伽马衰减，显式贡献于类似权重衰减的正则化效果，从而提升泛化能力。