[论文解读] Support vector machines and linear regression coincide with very high-dimensional features

Navid Ardeshir, Clayton Sanford+1 more|arXiv (Cornell University)|May 28, 2021

Sparse and Compressive Sensing Techniques参考文献 43被引用 4

一句话总结

该论文表明，在高维设置下，支持向量机（SVMs）与普通最小二乘法（OLS）回归由于支持向量泛滥（SVP）而收敛到相同的解，其中所有训练样本都成为支持向量。论文在独立子高斯特征模型中证明了SVP发生的维度$d$的超线性下界，并在高斯特征中识别出在$d = 2n\log n$处存在一个尖锐的相变，同时推测$\ell_1$-SVM仅在显著更高的维度下表现出SVP，该推测得到了几何对偶性分析的支持。

ABSTRACT

The support vector machine (SVM) and minimum Euclidean norm least squares regression are two fundamentally different approaches to fitting linear models, but they have recently been connected in models for very high-dimensional data through a phenomenon of support vector proliferation, where every training example used to fit an SVM becomes a support vector. In this paper, we explore the generality of this phenomenon and make the following contributions. First, we prove a super-linear lower bound on the dimension (in terms of sample size) required for support vector proliferation in independent feature models, matching the upper bounds from previous works. We further identify a sharp phase transition in Gaussian feature models, bound the width of this transition, and give experimental support for its universality. Finally, we hypothesize that this phase transition occurs only in much higher-dimensional settings in the $\ell_1$ variant of the SVM, and we present a new geometric characterization of the problem that may elucidate this phenomenon for the general $\ell_p$ case.

研究动机与目标

• 理解SVM与OLS在高维设置下解一致的条件。
• 在独立子高斯特征模型中，建立SVP所需维度$d$的紧下界。
• 研究是否存在一个尖锐的相变将SVP与非SVP区域分开，特别是在高斯特征模型中。
• 探索SVP向$\ell_p$-范数SVM（尤其是$\ell_1$情况）的推广，并为对偶问题建立几何表征。
• 提供理论和实验证据，证明SVP现象的普遍性及其对不同特征分布的维度依赖性。

提出的方法

• 在独立子高斯特征模型中，证明了SVP发生所需维度的超线性下界$d \gtrsim n\log n$，与先前的上界一致。
• 通过分析由特征向量构成的随机凸多面体的几何结构，利用对偶优化问题表征SVP。
• 利用旋转不变性和随机矩阵理论，界定最优对偶解位于正卦限的概率，从而指示SVP的发生。
• 在各向同性高斯特征中，建立$ d = 2n\log n $处的尖锐相变，并量化了该相变的宽度。
• 引入$\ell_p$-SVM问题对偶的几何表征，以分析$\ell_2$范数以外的SVP现象。
• 通过$\pm \mathbf{A}_{\cdot,i}$凸包的面数使用并集界，对$\ell_1$-SVM中SVP发生的概率进行上界估计，尽管该界被认为偏松。

实验结果

研究问题

• RQ1 在独立子高斯特征模型中，SVP发生所需的最小维度$d$是多少？
• RQ2 SVP的发生是否存在一个尖锐的相变？若存在，高斯特征中该相变的阈值$d$是多少？
• RQ3 SVP现象如何推广到$\ell_p$-范数SVM，特别是$\ell_1$-SVM？是否需要显著更高的维度？
• RQ4 能否通过$\ell_p$-SVM对偶问题的几何表征来解释SVP发生的条件？
• RQ5 SVP相变是否在不同特征分布中普遍存在，还是仅限于特定模型（如高斯分布）？

主要发现

• 在独立子高斯特征模型中，证明了SVP发生的超线性下界$d \gtrsim n\log n$，与先前的上界一致，填补了$\log n$的差距。
• 在各向同性高斯特征中，SVP在$d = 2n\log n$处出现尖锐相变，且相变宽度可量化。
• 实验结果表明，该相变在广泛分布范围内具有普遍性，不仅限于高斯分布。
• 对于$\ell_1$-SVM，推测SVP仅在远高于$\ell_2$-SVM的维度下发生，初步实验支持该推测。
• 当$d < Cn$（$C \approx 1.29$为某通用常数）时，$\ell_1$-SVM中SVP的概率可忽略不计，但该界因并集界高估而被认为偏松。
• 几何对偶性框架表明，SVP对应于对偶解位于正卦限，而这种情况在特征维度不足以大时极为罕见。