[论文解读] Representing smooth functions as compositions of near-identity functions with implications for deep network optimization

Peter L. Bartlett, Steven N. Evans+1 more|arXiv (Cornell University)|Apr 13, 2018

Stochastic Gradient Optimization Techniques参考文献 13被引用 16

一句话总结

本文证明了任意光滑的双-Lipschitz 函数均可被精确表示为一系列近恒等函数的复合，每个函数与恒等函数的Lipschitz偏差均较小。此外，本文还表明在非线性回归中，对这类复合函数进行函数梯度下降可避免次优临界点，而标准残差网络中使用Sigmoid激活函数的参数化梯度方法则无法避免。

ABSTRACT

We show that any smooth bi-Lipschitz $h$ can be represented exactly as a composition $h_m \circ ... \circ h_1$ of functions $h_1,...,h_m$ that are close to the identity in the sense that each $\left(h_i-\mathrm{Id} ight)$ is Lipschitz, and the Lipschitz constant decreases inversely with the number $m$ of functions composed. This implies that $h$ can be represented to any accuracy by a deep residual network whose nonlinear layers compute functions with a small Lipschitz constant. Next, we consider nonlinear regression with a composition of near-identity nonlinear maps. We show that, regarding Fréchet derivatives with respect to the $h_1,...,h_m$, any critical point of a quadratic criterion in this near-identity region must be a global minimizer. In contrast, if we consider derivatives with respect to parameters of a fixed-size residual network with sigmoid activation functions, we show that there are near-identity critical points that are suboptimal, even in the realizable case. Informally, this means that functional gradient methods for residual networks cannot get stuck at suboptimal critical points corresponding to near-identity layers, whereas parametric gradient methods for sigmoidal residual networks suffer from suboptimal critical points in the near-identity region.

研究动机与目标

• 通过证明光滑双-Lipschitz 函数可被精确表示为近恒等函数的复合，为深度残差网络建立理论基础。
• 分析使用近恒等函数复合的非线性回归的优化景观，重点关注临界点。
• 比较残差网络中函数梯度方法（关于函数本身）与参数化梯度方法（关于网络权重）的表现。
• 解释为何函数梯度下降在近恒等区域可避免次优临界点，而参数化方法则不能。

提出的方法

• 证明了任意光滑双-Lipschitz 映射 $ h $ 可被精确分解为 $ h = h_m \circ \cdots \circ h_1 $，其中每个 $ h_i = \mathrm{Id} + N_i $ 且 $ \|N_i\|_L \leq C/m $，$ C $ 为某常数，$ m $ 为网络层数。
• 利用线积分的梯度定理与光滑性假设，对 $ h $ 与其线性近似之间的偏差进行有界控制，从而建立对 $ N_i $ 的Lipschitz控制。
• 分析关于函数 $ h_i $ 的二次损失的Fréchet导数，表明在近恒等区域内的任意临界点必为全局最小值点。
• 构造了一个使用Sigmoid激活函数的两层残差网络反例，表明即使在可实现情况下，参数化梯度下降仍可能收敛至次优临界点。
• 应用泛函分析与非凸优化中的结果，比较残差网络中无限参数（非参数）与有限参数（参数化）优化的行为差异。
• 通过正则化或早停策略维持近恒等行为，并将其与函数梯度方法中避免不良临界点的机制联系起来。

实验结果

研究问题

• RQ1 任意光滑双-Lipschitz 函数是否可被精确表示为一系列近恒等函数的复合，且每层的Lipschitz偏差随层数递减？
• RQ2 在非线性回归中，对近恒等映射空间进行函数梯度下降是否可避免次优临界点？
• RQ3 为何标准残差网络中使用Sigmoid激活函数的参数化梯度方法在近恒等区域无法避免次优临界点？
• RQ4 深度残差网络的表达能力与函数参数化和参数化参数化下的优化景观之间存在何种关系？
• RQ5 通过正则化或早停策略维持近恒等行为，如何影响残差网络优化的收敛特性？

主要发现

• 任意光滑双-Lipschitz 函数 $ h $ 可被精确表示为 $ m $ 个函数 $ h_i = \mathrm{Id} + N_i $ 的复合，其中 $ \|N_i\|_L \leq C/m $，确保每个 $ N_i $ 均为小扰动。
• 在非线性回归中，关于函数 $ h_i $（通过Fréchet导数）的二次损失的任意临界点必为全局最小值点，意味着在近恒等区域不存在次优临界点。
• 相比之下，对于具有Sigmoid激活函数的参数化残差网络，存在某些回归问题，使得梯度下降即使在数据可实现的情况下，仍会收敛至次优临界点。
• 函数梯度方法由于层间交互作用而避免了不良临界点，而参数化方法则因每层内部动力学而易受此类问题影响。
• 该结果表明，在给定参数化下，深度残差网络中函数梯度下降是全局收敛的，而标准参数化训练则不然。
• 通过强制Lipschitz偏差保持较小时的正则化可防止过拟合，并通过在函数空间中提供大量有效方向来改善优化性能。