[论文解读] On the Theory of Implicit Deep Learning: Global Convergence with Implicit Layers

Kenji Kawaguchi|arXiv (Cornell University)|Feb 15, 2021

Sparse and Compressive Sensing Techniques参考文献 54被引用 14

一句话总结

该论文通过梯度动力学，证明了仅在权重矩阵上存在非线性、且损失函数为非凸的深度等效线性模型（DELMs）的全局收敛性，可达到全局最优解。尽管损失函数非凸，模型仍以线性收敛速率实现收敛，且无需宽度假设。研究进一步建立了DELM梯度动力学与信赖域牛顿法之间的数学联系，揭示了隐层的隐式偏差。

ABSTRACT

A deep equilibrium model uses implicit layers, which are implicitly defined through an equilibrium point of an infinite sequence of computation. It avoids any explicit computation of the infinite sequence by finding an equilibrium point directly via root-finding and by computing gradients via implicit differentiation. In this paper, we analyze the gradient dynamics of deep equilibrium models with nonlinearity only on weight matrices and non-convex objective functions of weights for regression and classification. Despite non-convexity, convergence to global optimum at a linear rate is guaranteed without any assumption on the width of the models, allowing the width to be smaller than the output dimension and the number of data points. Moreover, we prove a relation between the gradient dynamics of the deep implicit layer and the dynamics of trust region Newton method of a shallow explicit layer. This mathematically proven relation along with our numerical observation suggests the importance of understanding implicit bias of implicit layers and an open problem on the topic. Our proofs deal with implicit layers, weight tying and nonlinearity on weights, and differ from those in the related literature.

研究动机与目标

• 理论分析具有隐层、权重共享以及权重上存在非线性的深度等效模型（DELMs）中的梯度动力学。
• 在无宽度约束的前提下，为回归与分类任务中非凸目标函数建立全局收敛至全局最优解的理论保证。
• 揭示浅层显式网络中DELM梯度动力学与信赖域牛顿法之间的数学关系。
• 通过理论与数值分析，探究隐层的隐式偏差。
• 将理论理解从深度线性网络拓展至无限深度、权重共享及非线性权重依赖的模型。

提出的方法

• 模型采用无限深度、权重共享的架构，其中每一层应用依赖于共享权重 θ 的非线性变换。
• 输出定义为迭代过程的不动点：z* = h(z*; x, θ)，通过求根而非显式迭代计算。
• 通过隐式微分计算梯度，实现对不动点的高效反向传播。
• 理论分析采用微分方程与类似李雅普诺夫的论证方法，研究梯度流动力学。
• 关键转换将DELM的梯度动力学映射至浅层显式网络中信赖域牛顿法的更新规则。
• 在回归与分类任务中，对一般非凸损失函数均证明了收敛性。

实验结果

研究问题

• RQ1 对于具有非凸损失函数和非线性权重依赖的深度等效线性模型，能否保证全局收敛？
• RQ2 隐层的梯度动力学与信赖域牛顿等经典优化方法之间存在何种关系？
• RQ3 隐层的隐式偏差如何影响深度等效模型中的优化与泛化性能？
• RQ4 在缺乏宽度假设（如宽度 ≥ 输出维度）的情况下，是否会影响DELM的收敛性保证？
• RQ5 能否将深度线性网络的理论框架扩展至具有隐式结构、无限深度、权重共享及非线性权重的模型？

主要发现

• 在回归与分类任务中，对于非凸损失函数，全局收敛至全局最优解被保证，且收敛速率为线性。
• 收敛分析无需对模型宽度作任何假设，包括宽度小于输出维度或数据点数量的情况。
• 精确建立了深度等效线性模型的梯度动力学与应用于浅层显式网络的信赖域牛顿法之间的数学等价性。
• 数值结果验证了理论联系，并表明隐层中的隐式偏差在优化性能中起着关键作用。
• 理论证明与先前关于深度线性网络的工作相区别，因其考虑了隐层、权重共享及权重上的非线性。
• 本研究揭示了一个开放问题：理解隐层隐式偏差，强调其对未来研究的重要性。