[论文解读] Uniform Convergence of Gradients for Non-Convex Learning and Optimization

Dylan J. Foster, Ayush Sekhari+1 more|arXiv (Cornell University)|Oct 25, 2018

Stochastic Gradient Optimization Techniques被引用 7

一句话总结

本文引入了向量值Rademacher复杂度作为一种无维度的工具，用于建立非凸学习中梯度的统一收敛性，从而实现基于梯度优化的最优样本复杂度边界。研究表明，在温和的分布假设下，即使非光滑模型（如ReLU网络）也能实现与维度无关的收敛速率。

ABSTRACT

We investigate 1) the rate at which refined properties of the empirical risk---in particular, gradients---converge to their population counterparts in standard non-convex learning tasks, and 2) the consequences of this convergence for optimization. Our analysis follows the tradition of norm-based capacity control. We propose vector-valued Rademacher complexities as a simple, composable, and user-friendly tool to derive dimension-free uniform convergence bounds for gradients in non-convex learning problems. As an application of our techniques, we give a new analysis of batch gradient descent methods for non-convex generalized linear models and non-convex robust regression, showing how to use any algorithm that finds approximate stationary points to obtain optimal sample complexity, even when dimension is high or possibly infinite and multiple passes over the dataset are allowed. Moving to non-smooth models we show----in contrast to the smooth case---that even for a single ReLU it is not possible to obtain dimension-independent convergence rates for gradients in the worst case. On the positive side, it is still possible to obtain dimension-independent rates under a new type of distributional assumption.

研究动机与目标

• 开发一种通用框架，用于分析非凸学习问题中梯度统一收敛性的维度无关性，与输入维度无关。
• 建立梯度统一收敛性与非凸广义线性模型及鲁棒回归中优化算法最优样本复杂度之间的关系。
• 研究在非光滑设置（如ReLU网络）下，维度无关收敛性的局限性，并识别其仍可实现的条件。
• 为梯度方法在非凸机器学习中成功的原因提供理论基础，即使经验风险的全局最小化在计算上不可行。

提出的方法

• 提出向量值Rademacher复杂度作为分析非凸设置下梯度收敛性的基于范数的容量控制工具。
• 引入Rademacher复杂度的“链式法则”，将复合函数梯度的复杂度分解为其子函数的组成部分。
• 应用分块收缩原理，以界定非凸模型中二阶梯度项的复杂度。
• 建立梯度支配条件，将多余风险与梯度大小联系起来，从而提供优化保证。
• 采用一种新型的边界类型分布假设，以在非光滑模型（如ReLU网络）中恢复维度无关的收敛性。
• 将该框架应用于分析批量梯度下降及其他标准算法，表明在推导出的边界下，这些算法可实现最优样本复杂度。

实验结果

研究问题

• RQ1 是否可以在无维度的前提下，为非凸学习问题建立梯度统一收敛性？
• RQ2 在高维或无限维设置下，梯度优化实现最优样本复杂度需要满足哪些条件？
• RQ3 在最坏情况下，非光滑模型（如ReLU网络）是否仍能实现维度无关的梯度收敛？
• RQ4 是否可通过一种新型分布假设，实现在非光滑非凸模型中的维度无关收敛？
• RQ5 如何利用梯度统一收敛性来界定非凸设置下优化算法的多余风险？

主要发现

• 向量值Rademacher复杂度为非凸学习中梯度的维度无关统一收敛边界提供了可组合且用户友好的推导方法。
• 对于光滑的非凸广义线性模型和鲁棒回归，任何能寻找近似驻点的算法，即使在多次遍历数据的情况下，也能实现最优样本复杂度。
• 在最坏情况下，非光滑模型（如ReLU网络）无法实现维度无关的梯度收敛速率。
• 然而，在一种新型的边界类型分布假设下，非光滑设置中仍可实现维度无关的梯度收敛速率。
• 该框架实现了梯度统一收敛性与多余风险之间的直接联系，表明梯度方法可在非凸问题中实现最优泛化性能。
• 理论边界通过Rademacher复杂度的链式法则和分块收缩方法推导得出，显式样本复杂度速率依赖于数据范数和函数光滑性。