[论文解读] Tractability from overparametrization: The example of the negative perceptron

Andrea Montanari, Yiqiao Zhong+1 more|arXiv (Cornell University)|Oct 28, 2021

Sparse and Compressive Sensing Techniques参考文献 64被引用 6

一句话总结

本文研究了在过参数化设置下的负感知机问题，目标是在数据非线性可分时寻找具有最大可能负边距的线性分类器。通过随机矩阵理论和渐近分析，作者推导出此类分类器存在的精确阈值，并揭示了统计阈值（解存在的阈值）与线性规划阈值（可高效找到解的阈值）之间的差距，从而揭示了过参数化学习中的根本性可计算性差距。

ABSTRACT

In the negative perceptron problem we are given $n$ data points $({\boldsymbol x}_i,y_i)$, where ${\boldsymbol x}_i$ is a $d$-dimensional vector and $y_i\in\{+1,-1\}$ is a binary label. The data are not linearly separable and hence we content ourselves to find a linear classifier with the largest possible \emph{negative} margin. In other words, we want to find a unit norm vector ${\boldsymbol θ}$ that maximizes $\min_{i\le n}y_i\langle {\boldsymbol θ},{\boldsymbol x}_i angle$. This is a non-convex optimization problem (it is equivalent to finding a maximum norm vector in a polytope), and we study its typical properties under two random models for the data. We consider the proportional asymptotics in which $n,d o \infty$ with $n/d oδ$, and prove upper and lower bounds on the maximum margin $κ_{ ext{s}}(δ)$ or -- equivalently -- on its inverse function $δ_{ ext{s}}(κ)$. In other words, $δ_{ ext{s}}(κ)$ is the overparametrization threshold: for $n/d\le δ_{ ext{s}}(κ)-\varepsilon$ a classifier achieving vanishing training error exists with high probability, while for $n/d\ge δ_{ ext{s}}(κ)+\varepsilon$ it does not. Our bounds on $δ_{ ext{s}}(κ)$ match to the leading order as $κ o -\infty$. We then analyze a linear programming algorithm to find a solution, and characterize the corresponding threshold $δ_{ ext{lin}}(κ)$. We observe a gap between the interpolation threshold $δ_{ ext{s}}(κ)$ and the linear programming threshold $δ_{ ext{lin}}(κ)$, raising the question of the behavior of other algorithms.

研究动机与目标

• 研究在非线性可分数据中，使用过参数化线性模型实现大负边距的统计可行性。
• 刻画过参数化阈值 δ_s(κ)，当超过该阈值时，以高概率存在边距为 −κ 的解。
• 分析线性规划算法在寻找此类解时的性能，识别出一个独立的阈值 δ_lin(κ)。
• 探索过参数化学习中统计可行性与算法可计算性之间的差距。
• 理解梯度下降等优化算法在解决过参数化模型中出现的非凸、高维问题时的作用。

提出的方法

• 采用比例渐近方法，令 n, d → ∞ 且 n/d → δ，以研究负感知机的典型行为。
• 应用随机多面体几何和高斯过程比较工具（如 Gordon 引理）分析解空间结构。
• 通过集中不等式和尾概率估计，推导统计阈值 δ_s(κ) 的上下界。
• 将负感知机问题的线性规划松弛化，并通过渐近分析推导其阈值 δ_lin(κ)。
• 分析一种设计用于避免调参的可微损失函数上的梯度下降，证明其在大范数极限下收敛至零梯度。
• 利用 Hessian 分析和平滑性界，在适当的步长条件下建立梯度下降的收敛性保证。

实验结果

研究问题

• RQ1 在什么精确的过参数化阈值 δ_s(κ) 之上，以高概率存在边距为 −κ 的线性分类器？
• RQ2 统计阈值 δ_s(κ) 与线性规划的算法阈值 δ_lin(κ) 相比如何？
• RQ3 在过参数化设置下，梯度下降是否收敛至训练误差趋于零的解？
• RQ4 当标签与线性信号相关时，渐近估计误差是什么？
• RQ5 在高维极限下，当 κ → −∞ 时，解空间几何结构如何变化？

主要发现

• 统计阈值 δ_s(κ) 与线性规划阈值 δ_lin(κ) 之间存在差距，表明尽管在 δ_s(κ) 以上存在解，但可能无法通过 LP 高效找到。
• 当 κ → −∞ 时，δ_s(κ) 的上下界在主导阶上一致，证实了相变的精确性。
• 在纯噪声模型中，若 n/d ≤ δ_s(κ) − ε，则以高概率存在 κ-边距分类器；若 n/d ≥ δ_s(κ) + ε，则不存在。
• 对于线性规划算法，阈值 δ_lin(κ) 严格大于 δ_s(κ)，表明存在与高效计算之间的根本性差距。
• 梯度下降在大范数极限下收敛至梯度为零的临界点，且不发散，支持其在过参数化设置中的有效性。
• 在线性信号模型中，渐近估计误差被表征，并显示随信噪比增加而衰减，且通过高斯过程比较方法推导出显式界。