[论文解读] On the Importance of Normalisation Layers in Deep Learning with Piecewise Linear Activation Units

Zhibin Liao, Gustavo Carneiro|arXiv (Cornell University)|Aug 3, 2015

Advanced Neural Network Applications参考文献 11被引用 6

一句话总结

本论文提出在深度前馈网络中的分段线性激活单元（如 ReLU、PReLU 和 Maxout）之前集成批量归一化（BN）层，以确保激活区域使用的均衡性。通过稳定激活函数各区域的输入分布，BN 防止单元退化为线性单元，改善模型条件，并在 CIFAR-10、CIFAR-100、MNIST 和 SVHN 上实现最先进或具有竞争力的结果，测试误差分别为 8.52%（±0.20%）、29.20%（±0.20%）、0.35%（±0.03%）和 1.97%（±0.08%），分别。

ABSTRACT

Deep feedforward neural networks with piecewise linear activations are currently producing the state-of-the-art results in several public datasets. The combination of deep learning models and piecewise linear activation functions allows for the estimation of exponentially complex functions with the use of a large number of subnetworks specialized in the classification of similar input examples. During the training process, these subnetworks avoid overfitting with an implicit regularization scheme based on the fact that they must share their parameters with other subnetworks. Using this framework, we have made an empirical observation that can improve even more the performance of such models. We notice that these models assume a balanced initial distribution of data points with respect to the domain of the piecewise linear activation function. If that assumption is violated, then the piecewise linear activation units can degenerate into purely linear activation units, which can result in a significant reduction of their capacity to learn complex functions. Furthermore, as the number of model layers increases, this unbalanced initial distribution makes the model ill-conditioned. Therefore, we propose the introduction of batch normalisation units into deep feedforward neural networks with piecewise linear activations, which drives a more balanced use of these activation units, where each region of the activation function is trained with a relatively large proportion of training samples. Also, this batch normalisation promotes the pre-conditioning of very deep learning models. We show that by introducing maxout and batch normalisation units to the network in network model results in a model that produces classification results that are better than or comparable to the current state of the art in CIFAR-10, CIFAR-100, MNIST, and SVHN datasets.

研究动机与目标

• 解决分段线性激活函数各区域间输入分布不均衡的问题，该问题会降低模型容量。
• 研究批量归一化如何提升使用分段线性激活的深度网络的训练稳定性和性能。
• 证明均衡的激活区域使用可增强深度架构的泛化能力和模型条件。
• 表明将 Maxout 与批量归一化结合可在标准基准上实现更优性能。

提出的方法

• 在分段线性激活单元之前引入批量归一化层，以归一化输入并确保激活函数各区域的分布均衡。
• 使用小批量统计量对激活进行归一化，减少内部协变量偏移，促进训练稳定。
• 将该方法应用于包含 ReLU、PReLU 和 Maxout 单元的模型，并在多种深度网络架构上进行评估。
• 使用标准优化设置（学习率调度、动量、权重衰减）进行训练，并报告五次随机运行的均值与标准差。
• 将所提出的 MIM 模型（Maxout 与批量归一化结合）与 CIFAR-10、CIFAR-100、MNIST 和 SVHN 上的最先进模型进行比较。
• 使用一个简单的二维二分类问题，通过实验验证输入分布不均衡对模型收敛和性能的影响。

实验结果

研究问题

• RQ1 分段线性激活函数各区域间的输入分布不均衡是否会导致深度网络中模型性能下降？
• RQ2 批量归一化能否恢复均衡的激活区域使用并改善训练收敛性？
• RQ3 Maxout 与批量归一化的结合在标准基准上与现有最先进模型相比表现如何？
• RQ4 批量归一化在多大程度上对深度网络进行预处理，使其能够使用更高的学习率并实现更好的泛化？
• RQ5 为何使用 dropout 无法解决分段线性激活单元中的不平衡问题？

主要发现

• 在 Maxout 单元前引入批量归一化后，CIFAR-10 上的测试误差降低至 8.52%（±0.20%），优于表 3 中列出的所有先前方法。
• 在 CIFAR-100 上，MIM 模型的测试误差为 29.20%（±0.20%），超过表 4 中所有对比的最先进模型。
• 在 MNIST 上，MIM 模型在五次运行中达到最佳测试误差 0.35%（±0.03%），与文献中报告的最佳结果一致。
• 在 SVHN 上，MIM 模型的测试误差为 1.97%（±0.08%），略高于当前最佳结果 1.77%，但仍具高度竞争力。
• 未使用批量归一化的模型在学习率超过阈值后无法收敛，表明因激活不平衡导致模型条件差。
• 玩具实验确认，若无批量归一化，ReLU 和 Maxout 单元会使用不足，导致泛化能力差和训练停滞。