[论文解读] On the proliferation of support vectors in high dimensions

Daniel Hsu, Vidya Muthukumar+1 more|arXiv (Cornell University)|Sep 22, 2020

Face and Expression Recognition参考文献 38被引用 5

一句话总结

该论文为高维线性分类中的支持向量爆发现象建立了确定性条件，表明当有效过参数化超过与协方差矩阵有效秩相关的阈值时，所有训练样本以高概率成为支持向量。此外，论文进一步证明了一个近乎匹配的逆定理，表明若过参数化不足，则至少一个样本以常数概率不是支持向量。

ABSTRACT

The support vector machine (SVM) is a well-established classification method whose name refers to the particular training examples, called support vectors, that determine the maximum margin separating hyperplane. The SVM classifier is known to enjoy good generalization properties when the number of support vectors is small compared to the number of training examples. However, recent research has shown that in sufficiently high-dimensional linear classification problems, the SVM can generalize well despite a proliferation of support vectors where all training examples are support vectors. In this paper, we identify new deterministic equivalences for this phenomenon of support vector proliferation, and use them to (1) substantially broaden the conditions under which the phenomenon occurs in high-dimensional settings, and (2) prove a nearly matching converse result.

研究动机与目标

• 确定在高维线性分类中所有训练样本成为支持向量的确定性条件。
• 将先前针对特定集合的支持向量爆发结果扩展到更广泛的类别，如次高斯分布和哈尓设计。
• 建立一个近乎紧致的逆定理，表明若过参数化不足，则并非所有样本都能成为支持向量。
• 利用随机矩阵理论工具，形式化有效过参数化与支持向量爆发现象之间的联系。
• 为传统稀疏性假设失效的过参数化情形下SVM的泛化能力提供理论依据。

提出的方法

• 基于数据几何结构与核矩阵构造，推导支持向量爆发的确定性等价条件。
• 利用硬-margin SVM的对偶形式，分析哪些训练样本达到最小边界，从而成为支持向量。
• 应用Wishart分布和卡方分布的集中与尾部界限，分析留一法设置下核矩阵的逆。
• 利用高斯分布的旋转对称性，简化涉及核矩阵逆的二次型分布。
• 利用标准正态分布的CDF与卡方分布尾部界限，建立给定样本成为支持向量的概率下界。
• 引入协方差矩阵有效秩的阈值，以确定支持向量爆发以高概率发生的条件。

实验结果

研究问题

• RQ1 在何种确定性条件下，支持向量机表现出支持向量爆发现象，即所有训练样本均成为支持向量？
• RQ2 在高维设置下，支持向量爆发现象如何依赖于数据协方差矩阵的有效秩？
• RQ3 能否证明一个近乎匹配的逆定理，表明若过参数化不足，则并非所有样本都能成为支持向量？
• RQ4 这些结果在多大程度上可推广至各向同性或脉冲协方差模型之外的次高斯分布与哈尓分布设计？
• RQ5 特征数量、样本大小与完全支持向量爆发概率之间的精确关系是什么？

主要发现

• 当协方差矩阵的有效秩相对于样本大小足够大时，支持向量爆发以高概率发生，具体而言，当 $ d - n + 2 $ 足够大以确保核矩阵逆的迹较小。
• 对于给定样本，其成为支持向量的概率下界为 $ rac{1}{e} imes rac{1}{ ext{常数}} $，其中下界取决于卡方分布的尾部概率。
• 论文证明：若 $ d o rac{n-1}{d-n+4+2 ilde{d}} $，则给定样本成为支持向量的概率远离零，表明存在相变现象。
• 建立了近乎匹配的逆定理：若有效过参数化不足，则至少一个训练样本以常数概率无法成为支持向量。
• 结果适用于一般次高斯分布与哈尓分布设计，而不仅限于特定脉冲模型，显著扩展了先前研究的适用范围。
• 分析表明，该现象由维度 $ d $、样本大小 $ n $ 与数据有效秩之间的相互作用所决定，关键阈值为 $ d - n + 2 $。