[论文解读] Theoretical Issues in Deep Networks: Approximation, Optimization and Generalization

Tomaso Poggio, Andrzej Banburski+1 more|arXiv (Cornell University)|Aug 25, 2019

Stochastic Gradient Optimization Techniques参考文献 23被引用 19

一句话总结

本文通过分析近似、优化和泛化三个核心方面，为深度学习提供了理论基础。结果表明，深度卷积网络在近似组合函数时，其性能相比浅层网络呈指数级优势；在过参数化设置下，随机梯度下降（SGD）能收敛至全局最小值；梯度下降中的隐式范数控制机制使得无需显式正则化即可实现泛化，从而解决了深度学习理论中的一个关键谜题。

ABSTRACT

While deep learning is successful in a number of applications, it is not yet well understood theoretically. A satisfactory theoretical characterization of deep learning however, is beginning to emerge. It covers the following questions: 1) representation power of deep networks 2) optimization of the empirical risk 3) generalization properties of gradient descent techniques --- why the expected error does not suffer, despite the absence of explicit regularization, when the networks are overparametrized? In this review we discuss recent advances in the three areas. In approximation theory both shallow and deep networks have been shown to approximate any continuous functions on a bounded domain at the expense of an exponential number of parameters (exponential in the dimensionality of the function). However, for a subset of compositional functions, deep networks of the convolutional type can have a linear dependence on dimensionality, unlike shallow networks. In optimization we discuss the loss landscape for the exponential loss function and show that stochastic gradient descent will find with high probability the global minima. To address the question of generalization for classification tasks, we use classical uniform convergence results to justify minimizing a surrogate exponential-type loss function under a unit norm constraint on the weight matrix at each layer -- since the interesting variables for classification are the weight directions rather than the weights. Our approach, which is supported by several independent new results, offers a solution to the puzzle about generalization performance of deep overparametrized ReLU networks, uncovering the origin of the underlying hidden complexity control.

研究动机与目标

• 为解决尽管缺乏显式正则化，深度学习为何表现如此出色这一理论上的空白。
• 表征深度网络相较于浅层网络的表征能力，特别是针对组合函数的情形。
• 解释为何在过参数化的深度网络中，随机梯度下降（SGD）能收敛至全局最小值。
• 通过识别隐式正则化机制，解决过参数化深度网络中泛化的悖论。
• 在单一统一的理论框架下，整合近似、优化与泛化的理论洞见。

提出的方法

• 通过具有组合性、分层性和局部结构的函数类分析近似效率，表明深度网络在维度上的依赖关系为线性。
• 研究指数型损失函数的损失景观，证明全局最小值相较于其他临界点具有更低的退化性。
• 引入一种带约束的优化框架，对每层的权重矩阵施加单位范数约束，以建模与分类相关的动力学行为。
• 推导标准梯度下降与权重归一化在临界点上的等价性，表明其隐含地实现了L2范数控制。
• 利用一致收敛理论与结构引理，为过参数化设置下的泛化提供理论依据。
• 通过实验验证在CIFAR-10上的泛化性能，结果表明预期误差未随训练样本规模增加而上升。

实验结果

研究问题

• RQ1 为何深度卷积网络在近似组合函数时，相较于浅层网络具有指数级近似优势？
• RQ2 尽管损失景观复杂，为何在过参数化的深度网络中，随机梯度下降（SGD）仍能收敛至全局最小值？
• RQ3 在缺乏显式正则化的情况下，何种机制使得过参数化的深度网络能够实现泛化？
• RQ4 梯度下降如何隐式实现范数控制，其在泛化中起到何种作用？
• RQ5 权重归一化、梯度下降动力学与隐式正则化之间的理论关系是什么？

主要发现

• 具有局部性、分层组合结构的深度卷积网络，可在维度上线性依赖下实现函数近似，而浅层网络则需要指数级参数量。
• 对于指数型损失，全局最小值相较于其他临界点退化性更低（具有非零特征值），这解释了SGD以高概率收敛至全局最小值的原因。
• 标准梯度下降隐式地对权重方向施加了L2单位范数约束，其临界点与求解相同约束优化问题的临界点等价。
• 梯度下降中的隐式范数控制作为一种正则化形式，使得在无显式正则化的情况下，过参数化的ReLU网络仍能实现泛化。
• 权重归一化与梯度下降动力学在临界点结构上具有数学等价性，表明其成功具有理论基础。
• 在CIFAR-10上的实验结果表明，当参数量超过训练样本数时，预期分类误差仍保持稳定，支持了无需显式正则化即可实现泛化的理论主张。