[论文解读] On the Convergence of Deep Networks with Sample Quadratic Overparameterization.

Asaf Noy, Yi Xu+2 more|arXiv (Cornell University)|Jan 12, 2021

Stochastic Gradient Optimization Techniques被引用 1

一句话总结

本文建立了宽度与样本量呈二次方、深度呈线性关系的ReLU网络收敛至全局最小值的理论结果，实现了对数时间的收敛速度。通过引入具有固定激活模式的代理网络，该方法能够获得更紧致的理论界，并实现与神经正切核（Neural Tangent Kernel, NTK）的有限宽度等价性，从而提出一种新颖的训练加速方法，对泛化能力研究具有重要意义。

ABSTRACT

Deep neural networks' remarkable ability to correctly fit training data when optimized by gradient-based algorithms is yet to be fully understood. Recent theoretical results explain the convergence for ReLU networks that are wider than those used in practice by orders of magnitude. In this work, we take a step towards closing the gap between theory and practice by significantly improving the known theoretical bounds on both the network width and the convergence time. We show that convergence to a global minimum is guaranteed for networks with widths quadratic in the sample size and linear in their depth at a time logarithmic in both. Our analysis and convergence bounds are derived via the construction of a surrogate network with fixed activation patterns that can be transformed at any time to an equivalent ReLU network of a reasonable size. This construction can be viewed as a novel technique to accelerate training, while its tight finite-width equivalence to Neural Tangent Kernel (NTK) suggests it can be utilized to study generalization as well.

研究动机与目标

• 通过改进网络宽度和收敛时间的理论界，弥合理论收敛保证与实际深度学习之间的差距。
• 对在现实宽度和深度缩放下ReLU网络进行严格的理论分析，使其更贴近实际应用场景。
• 提出一种代理网络构造方法，使其在保持与神经正切核（NTK）有限宽度等价性的同时，支持更紧致的收敛性分析。
• 证明可通过代理网络实现训练加速，同时不损失对NTK的理论等价性。
• 为利用所提构造方法研究有限宽度ReLU网络的泛化能力奠定理论基础。

提出的方法

• 作者构建了一个具有固定激活模式的代理网络，可随时转换为等价的ReLU网络。
• 该代理网络被设计为保持与神经正切核（NTK）的有限宽度等价性，从而支持理论分析。
• 该方法利用ReLU网络的结构特性及激活模式的稳定性，在合理的宽度缩放下推导收敛界。
• 通过分析梯度下降下网络的动力学特性，证明了收敛时间在宽度和深度上均呈对数尺度。
• 与以往工作相比，该构造通过避免远超实际设置的过度参数化假设，实现了更紧致的理论界。
• 代理网络既可作为训练加速工具，也可通过NTK等价性支持泛化性分析。

实验结果

研究问题

• RQ1 是否可在更接近实际设置的宽度缩放下，保证ReLU网络的全局收敛，而非要求极端过度参数化？
• RQ2 在梯度下降下，确保收敛至全局最小值所需的最小网络宽度和深度是多少？
• RQ3 如何构建一个具有固定激活模式的代理网络，以保持与NTK的有限宽度等价性？
• RQ4 此类代理网络是否可用于加速训练，同时保持理论保证？
• RQ5 该构造对理解有限宽度深度网络中的泛化能力有何启示？

主要发现

• 对于宽度与样本量呈二次方、深度呈线性关系的ReLU网络，可保证收敛至全局最小值。
• 收敛时间在宽度和深度上均呈对数尺度，显著优于先前的理论界。
• 所提出的代理网络保持了与神经正切核（NTK）的有限宽度等价性，从而支持泛化性的理论分析。
• 通过避免以往研究中远超实际设置的过度参数化假设，该构造实现了更紧致的理论分析。
• 代理网络可随时转换为等价的ReLU网络，为训练加速提供了实用机制。
• 该方法通过NTK等价性，为研究有限宽度深度网络的泛化性建立了新的理论框架。