[论文解读] Online stochastic gradient descent on non-convex losses from high-dimensional inference

Gérard Ben Arous, Reza Gheissari+1 more|arXiv (Cornell University)|Mar 23, 2020

Stochastic Gradient Optimization Techniques被引用 16

一句话总结

本文在高维非凸推断中建立了在线随机梯度下降（SGD）近乎精确的样本复杂度阈值，引入了信息指数作为总体损失的关键内在属性。研究表明，大部分数据用于初始搜索阶段以实现与真实值的非平凡相关性，此后下降过程变得迅速且呈现大数定律类似的行为，其阈值关于维度为多项式关系，并显式依赖于信息指数。

ABSTRACT

Stochastic gradient descent (SGD) is a popular algorithm for optimization problems arising in high-dimensional inference tasks. Here one produces an estimator of an unknown parameter from independent samples of data by iteratively optimizing a loss function. This loss function is random and often non-convex. We study the performance of the simplest version of SGD, namely online SGD, from a random start in the setting where the parameter space is high-dimensional. We develop nearly sharp thresholds for the number of samples needed for consistent estimation as one varies the dimension. Our thresholds depend only on an intrinsic property of the population loss which we call the information exponent. In particular, our results do not assume uniform control on the loss itself, such as convexity or uniform derivative bounds. The thresholds we obtain are polynomial in the dimension and the precise exponent depends explicitly on the information exponent. As a consequence of our results, we find that except for the simplest tasks, almost all of the data is used simply in the initial search phase to obtain non-trivial correlation with the ground truth. Upon attaining non-trivial correlation, the descent is rapid and exhibits law of large numbers type behavior. We illustrate our approach by applying it to a wide set of inference tasks such as phase retrieval, and parameter estimation for generalized linear models, online PCA, and spiked tensor models, as well as to supervised learning for single-layer networks with general activation functions.

研究动机与目标

• 理解在传统凸性或一致导数有界性不成立时，高维非凸推断问题中在线SGD的样本复杂度。
• 从随机初始化出发，刻画高维SGD中初始搜索阶段与快速下降阶段之间的相变行为。
• 识别一个内在属性——“信息指数”——其决定高维设定下一致估计所需的样本数量。
• 提供关于维度为多项式且独立于损失或梯度一致控制的样本复杂度界，与先前方法不同。
• 证明该框架在多种推断任务中的普适性，包括相位恢复、广义线性模型以及单层网络。

提出的方法

• 引入“信息指数”作为损失函数在总体层面的属性，通过损失梯度的矩条件定义，其决定样本复杂度。
• 通过一种新颖的分解方法将从随机初始化出发的在线SGD分析为搜索与下降两个阶段，无需假设凸性或一致光滑性。
• 应用离散的Bihari–LaSalle不等式以控制估计误差随时间的增长，从而获得非渐近界。
• 利用测度集中性与随机张量（如突触张量模型中）的矩界，验证信息指数的假设。
• 证明一旦与真实值达到非平凡相关性，下降阶段即表现出大数定律行为。
• 通过验证信息指数条件，在多个模型中验证该框架，包括相位恢复、在线PCA以及具有通用激活函数的单层网络。

实验结果

研究问题

• RQ1 在高维非凸推断中，在线SGD实现一致估计所需的最少样本数是多少？
• RQ2 在线SGD的性能在何种程度上依赖于总体损失的内在几何结构，特别是在缺乏凸性或一致光滑性的情况下？
• RQ3 在从随机初始化出发的高维SGD中，数据在初始搜索阶段与下降阶段的使用程度如何？
• RQ4 一个参数——信息指数——能否统一多种推断任务中的样本复杂度阈值？
• RQ5 一旦达到非平凡相关性，SGD的下降阶段是否表现出确定性、类似大数定律的行为？

主要发现

• 一致估计的样本复杂度阈值关于维度为多项式关系，其指数由损失函数的信息指数显式决定。
• 除最简单任务外，几乎所有数据都用于初始搜索阶段，以实现与真实值的非平凡相关性。
• 一旦达到非平凡相关性，下降阶段迅速收敛至确定性极限，表现出大数定律行为。
• 信息指数决定了一致估计的精确阈值，其定义基于损失梯度的矩条件，而非凸性或一致光滑性。
• 该框架具有广泛适用性，涵盖相位恢复、广义线性模型、在线PCA、突触张量模型以及具有通用激活函数的单层网络。
• 该分析无需对损失或其导数施加一致有界性假设，因此适用于因测度集中性而使此类假设失效的高维推断问题。