[论文解读] Spherical Perspective on Learning with Batch Norm.

Simon Roburin, Yann de Mont-Marin+4 more|arXiv (Cornell University)|Jun 23, 2020

Stochastic Gradient Optimization Techniques参考文献 17被引用 4

一句话总结

本文通过在L2单位超球面上对优化过程进行建模，提出了一种理解深度学习中批量归一化（BN）的几何框架，揭示了在BN下使用动量的随机梯度下降（SGD）等价于Adam的一种约束变体。该方法可推导出有效学习率，并由此提出新的Adam变体，显著提升了多个数据集和网络架构下的分类准确率。

ABSTRACT

Batch Normalization (BN) is a prominent deep learning technique. In spite of its apparent simplicity, its implications over optimization are yet to be fully understood. In this paper, we study the optimization of neural networks with BN layers from a geometric perspective. We leverage the radial invariance of groups of parameters, such as neurons for multi-layer perceptrons or filters for convolutional neural networks, and translate several popular optimization schemes on the $L_2$ unit hypersphere. This formulation and the associated geometric interpretation sheds new light on the training dynamics and the relation between different optimization schemes. In particular, we use it to derive the effective learning rate of Adam and stochastic gradient descent (SGD) with momentum, and we show that in the presence of BN layers, performing SGD alone is actually equivalent to a variant of Adam constrained to the unit hypersphere. Our analysis also leads us to introduce new variants of Adam. We empirically show, over a variety of datasets and architectures, that they improve accuracy in classification tasks. The complete source code for our experiments is available at: this https URL

研究动机与目标

• 从几何视角理解具有批量归一化的神经网络的优化动态。
• 解释在批量归一化下，使用动量的SGD与约束形式的Adam之间的等价性。
• 推导在BN层存在下SGD与Adam的有效学习率。
• 基于几何洞察开发新的优化变体，以提升模型准确率。
• 在多种架构和数据集上对所提方法进行实验验证。

提出的方法

• 将参数组（如神经元、卷积核）建模为L2单位超球面上的点，以利用径向不变性。
• 将标准优化方法（如SGD和Adam）映射到单位超球面，以揭示其几何结构。
• 利用球面几何推导在BN下使用动量的SGD与Adam的有效学习率。
• 提出受单位超球面约束的新Adam变体，以保持几何不变性。
• 通过超球面上的径向与角向分量表述优化动态，以分离尺度与方向。
• 在图像分类基准上通过大量实验验证所提方法。

实验结果

研究问题

• RQ1 从几何角度看，批量归一化如何影响深度网络的优化轨迹？
• RQ2 在应用批量归一化时，使用动量的SGD与Adam之间的真实关系是什么？
• RQ3 能否利用参数组的径向不变性来推导出更高效的优化算法？
• RQ4 SGD与Adam在批量归一化下的有效学习率是什么？它们在几何上如何关联？
• RQ5 基于球面优化推导出的新Adam变体在实际中是否能提升泛化能力与准确率？

主要发现

• 在批量归一化下，使用动量的SGD在几何上等价于单位超球面上的Adam约束变体。
• 可通过球面几何分析推导出Adam与使用动量的SGD的有效学习率。
• 基于球面公式推导出的新Adam变体在多个数据集与网络架构上实现了更高的分类准确率。
• 所提方法在不增加模型复杂度或计算成本的前提下提升了性能。
• 实验结果证实，所提方法在多种网络架构与基准数据集上均表现出一致的准确率提升。
• 该几何框架为BN正则化网络中的优化动态提供了统一的视角。