[论文解读] On ADMM in Deep Learning: Convergence and Saturation-Avoidance

Jinshan Zeng, Shao-Bo Lin+2 more|arXiv (Cornell University)|Feb 6, 2019

Sparse and Compressive Sensing Techniques参考文献 82被引用 10

一句话总结

该论文提出了一种基于ADMM的新型深度神经网络训练方法（sigmoid-ADMM），适用于Sigmoid激活函数，可避免梯度饱和问题，并以O(1/k)的收敛速率实现全局收敛至KKT点。研究表明，深度Sigmoid网络可用两层隐藏层近似ReLU网络，且在简单函数上的实验结果表明，其在稳定性和性能方面优于ReLU-SGD。

ABSTRACT

In this paper, we develop an alternating direction method of multipliers (ADMM) for deep neural networks training with sigmoid-type activation functions (called extit{sigmoid-ADMM pair}), mainly motivated by the gradient-free nature of ADMM in avoiding the saturation of sigmoid-type activations and the advantages of deep neural networks with sigmoid-type activations (called deep sigmoid nets) over their rectified linear unit (ReLU) counterparts (called deep ReLU nets) in terms of approximation. In particular, we prove that the approximation capability of deep sigmoid nets is not worse than that of deep ReLU nets by showing that ReLU activation function can be well approximated by deep sigmoid nets with two hidden layers and finitely many free parameters but not vice-verse. We also establish the global convergence of the proposed ADMM for the nonlinearly constrained formulation of the deep sigmoid nets training from arbitrary initial points to a Karush-Kuhn-Tucker (KKT) point at a rate of order ${\cal O}(1/k)$. Besides sigmoid activation, such a convergence theorem holds for a general class of smooth activations. Compared with the widely used stochastic gradient descent (SGD) algorithm for the deep ReLU nets training (called ReLU-SGD pair), the proposed sigmoid-ADMM pair is practically stable with respect to the algorithmic hyperparameters including the learning rate, initial schemes and the pro-processing of the input data. Moreover, we find that to approximate and learn simple but important functions the proposed sigmoid-ADMM pair numerically outperforms the ReLU-SGD pair.

研究动机与目标

• 为解决使用SGD训练深度ReLU网络时存在的近似与优化不一致问题，特别是梯度消失/爆炸现象以及对超参数的敏感性。
• 开发一种无梯度优化方法——ADMM，以避免Sigmoid类激活函数中的饱和问题，此类激活函数在光滑函数近似方面具有优越性能。
• 在非线性约束条件下，建立深度Sigmoid网络ADMM的全局收敛性，并证明其收敛速率为O(1/k)。
• 证明深度Sigmoid网络可用有限参数近似ReLU网络（仅需两层隐藏层），但反之不成立，从而确立其近似优势。
• 通过实验验证，所提出的sigmoid-ADMM方法在简单函数近似任务中，相较于ReLU-SGD具有更高的稳定性和数值优越性。

提出的方法

• 将深度Sigmoid网络的训练问题建模为非线性约束优化问题，通过交替变量分块实现ADMM分解。
• 应用增广拉格朗日乘子法（ADMM）求解优化问题，通过交替方式更新权重、激活值和对偶变量（拉格朗日乘子）。
• 引入辅助变量以解耦非线性激活函数，使ADMM能够处理深度网络中非凸、非光滑的结构。
• 采用惩罚参数更新规则以保证收敛性，理论分析基于Kurdyka-Łojasiewicz（KŁ）不等式与下降引理。
• 使用平滑版本的拉格朗日函数（记为 \hat{\cal L}）进行收敛性分析，包含近端项与对偶上升步骤。
• 通过证明迭代序列的有界性、充分下降性、相对误差控制及KŁ性质，建立全局收敛至KKT点的理论依据。

实验结果

研究问题

• RQ1 ADMM能否在理论上保证收敛的前提下，有效应用于训练深度Sigmoid网络？
• RQ2 所提出的sigmoid-ADMM方法是否能有效避免Sigmoid激活函数固有的饱和问题，该问题在SGD训练中常导致性能下降？
• RQ3 深度Sigmoid网络能否用有限参数近似ReLU网络？反之是否成立？
• RQ4 在简单函数近似任务中，sigmoid-ADMM与ReLU-SGD相比，在稳定性和数值精度方面表现如何？
• RQ5 所提出的ADMM方法在深度Sigmoid网络中的收敛速率是多少？该结果是否适用于一般光滑激活函数？

主要发现

• 在较弱假设下，所提出的sigmoid-ADMM方法可从任意初始点实现全局收敛至Karush-Kuhn-Tucker（KKT）点，收敛速率为O(1/k)。
• 深度Sigmoid网络仅需两层隐藏层和有限参数即可近似ReLU激活函数，但ReLU网络无法普遍近似深度Sigmoid网络。
• sigmoid-ADMM方法在数值上比ReLU-SGD更稳定，对学习率、初始化和输入预处理均不敏感。
• 实验结果表明，sigmoid-ADMM在近似重要但简单的函数（如分段线性函数和光滑函数）方面优于ReLU-SGD。
• 理论分析可推广至Sigmoid以外的一般光滑激活函数类别，不仅限于Sigmoid型激活函数。
• 理论分析证实，迭代序列保持有界，目标函数单调递减，从而保证收敛性。