[论文解读] Regularization and Optimization strategies in Deep Convolutional Neural Network

P. P. Murugan, Shanmugasundaram Durairaj|arXiv (Cornell University)|Dec 13, 2017

Neural Networks and Applications参考文献 18被引用 44

一句话总结

本文对深度卷积神经网络（CNN）中的正则化与优化策略进行了全面的理论与数学分析，重点探讨了批量/小批量随机梯度下降（SGD）、动量、Adam、RMSProp等方法，以及dropout、权重衰减和早停等技术。结果表明，这些策略能够提升训练收敛速度，减少过拟合，并增强复杂深度学习任务中的模型泛化能力。

ABSTRACT

Convolution Neural Networks, known as ConvNets exceptionally perform well in many complex machine learning tasks. The architecture of ConvNets demands the huge and rich amount of data and involves with a vast number of parameters that leads the learning takes to be computationally expensive, slow convergence towards the global minima, trap in local minima with poor predictions. In some cases, architecture overfits the data and make the architecture difficult to generalise for new samples that were not in the training set samples. To address these limitations, many regularization and optimization strategies are developed for the past few years. Also, studies suggested that these techniques significantly increase the performance of the networks as well as reducing the computational cost. In implementing these techniques, one must thoroughly understand the theoretical concept of how this technique works in increasing the expressive power of the networks. This article is intended to provide the theoretical concepts and mathematical formulation of the most commonly used strategies in developing a ConvNet architecture.

研究动机与目标

• 提供深度卷积神经网络中常用正则化与优化技术的详细理论与数学公式推导。
• 解释这些策略如何缓解深度学习架构中过拟合、收敛缓慢和泛化能力差等问题。
• 为实践者与研究人员提供依据其内在机制与性能权衡，选择与实现有效优化与正则化方法的支持。
• 弥合现代CNN框架中优化与正则化理论理解与实际应用之间的差距。

提出的方法

• 推导随机梯度下降（SGD）、小批量SGD及其变体（包括动量与Nesterov加速梯度）的数学公式。
• 利用梯度与平方梯度的指数加权移动平均，解释自适应学习率方法，如Adagrad、Adadelta、RMSProp、Adam与Nadam。
• 引入正则化技术，包括L1与L2权重衰减、dropout、DropConnect以及早停，以防止过拟合并提升泛化能力。
• 介绍批量归一化与数据增强作为提升训练稳定性和性能的互补策略。
• 推导优化算法的关键更新规则，包括Adam与Nadam中的偏差校正一阶与二阶矩估计。
• 分析激活函数（如ReLU）与损失函数（如带Softmax的交叉熵）在与优化和正则化结合时的作用。

实验结果

研究问题

• RQ1 与标准SGD相比，自适应优化方法（如Adam与RMSProp）在训练深度CNN时如何提升收敛速度与稳定性？
• RQ2 dropout、权重衰减（L2）与早停等正则化技术的数学基础是什么，如何有效防止过拟合？
• RQ3 基于动量的方法与Nesterov加速如何在深度学习中常见的非凸损失曲面中提升优化性能？
• RQ4 批量归一化与数据增强在提升训练效率与模型泛化能力方面发挥什么作用？
• RQ5 优化与正则化技术的超参数（如学习率、β1、β2、ϵ）如何影响模型收敛与性能？

主要发现

• 自适应优化方法（如Adam与RMSProp）通过基于历史梯度信息动态调整学习率，显著加速收敛。
• dropout与权重衰减（L2）等技术通过正则化网络权重并随机在训练中关闭神经元，有效减少过拟合。
• 动量与Nesterov加速方法提升了非凸损失函数中的优化稳定性，并有助于逃离局部极小值。
• 批量归一化、dropout与自适应优化器（如Adam）的结合可实现更快、更鲁棒的训练，并在未见数据上获得更好的泛化性能。
• 合理调优超参数——尤其是Adam中的β1、β2与ϵ——可实现最优收敛与性能，其中默认值（如β1=0.9，β2=0.999）通常表现良好。
• 本文证实，正则化与优化是有效训练深度CNN的关键驱动力，尤其在数据有限或噪声较大的情况下。