[论文解读] Tight Sample Complexity of Large-Margin Learning

Sivan Sabato, Nathan Srebro+1 more|arXiv (Cornell University)|Nov 23, 2010

Sparse and Compressive Sensing Techniques参考文献 20被引用 4

一句话总结

本文引入了γ-适应维数（γ-adapted-dimension），这是一种从协方差矩阵导出的、与分布相关的度量，用于紧密刻画带L2正则化的大间隔分类的样本复杂度。它建立了匹配的上界Ω(kγ)和下界Õ(kγ/ε²)，表明kγ控制了次高斯分布的真实样本复杂度，提供了精确的、与分布相关的表征，从而实现了对不同学习算法的严格比较。

ABSTRACT

We obtain a tight distribution-specific characterization of the sample complexity of large-margin classification with L_2 regularization: We introduce the γ-adapted-dimension, which is a simple function of the spectrum of a distribution's covariance matrix, and show distribution-specific upper and lower bounds on the sample complexity, both governed by the γ-adapted-dimension of the source distribution. We conclude that this new quantity tightly characterizes the true sample complexity of large-margin classification. The bounds hold for a rich family of sub-Gaussian distributions.

研究动机与目标

• 识别带L2正则化的大型-margin分类的样本复杂度的精确、与分布相关的表征。
• 通过引入紧致的、与分布相关的下界，弥合松散上界与实际样本需求之间的差距。
• 开发一个简单、可计算的量——γ-适应维数，以捕捉一大类次高斯分布的真实样本复杂度。
• 实现对不同学习规则（如L1与L2正则化、判别式与生成式模型）的严格比较。
• 提供分析有限样本收敛速率的工具，其依赖于内在分布特性而非最坏情况假设。

提出的方法

• 将γ-适应维数kγ(DX)定义为输入分布协方差矩阵特征值的函数，捕捉在边际约束下的有效维度。
• 通过构造一个困难分布族和统计查询论证，建立基于分布的样本复杂度下界。
• 通过大间隔最小化标准泛化界推导样本复杂度的上界，表明其对kγ(DX)的依赖性。
• 证明对于具有独立不相关方向的次高斯分布，样本复杂度被kγ(DX)紧密表征，仅相差对数因子。
• 利用下界严格证明L1与L2正则化之间，以及判别式与生成式学习之间的样本复杂度差距。
• 将该框架应用于具体分布（如均值分离的高维高斯混合分布）以推导具体的样本复杂度估计。

实验结果

研究问题

• RQ1 何种与分布相关的量能紧密刻画带L2正则化的大型-margin分类的真实样本复杂度？
• RQ2 能否建立一个既与分布相关又紧致的样本复杂度下界，而非最坏情况下的界？
• RQ3 γ-适应维数如何改进传统度量（如维度或范数）在预测样本复杂度方面的表现？
• RQ4 当存在无关特征时，L1与L2正则化之间的样本复杂度差距如何？
• RQ5 在高维高斯混合分布上，判别式大间隔学习与生成式建模在样本复杂度上如何比较？

主要发现

• 大间隔分类的样本复杂度由γ-适应维数kγ(DX)紧密表征，其上界和下界分别按Ω(kγ)和Õ(kγ/ε²)缩放。
• 对于具有独立不相关方向的次高斯分布，真实样本复杂度由kγ(DX)控制，仅相差对数因子。
• 在存在无关特征且满足相同分布假设的条件下，L2正则化与L1正则化的样本复杂度差距为Ω(d)与O(log d)。
• 对于类均值相距2v的高维高斯混合分布，判别式方法需要Õ(d/v²)个样本，而生成式方法需要O(d/v⁴)个样本，导致Ω(v²)的差距。
• γ-适应维数捕捉了数据分布谱特性的影响，表明标签条件分布对样本复杂度的影响是有限的。
• 该框架实现了对学习算法的严格、与分布相关的比较，超越了最坏情况界或渐近分析。