[论文解读] Sparse Prediction with the $k$-Support Norm

Andreas A. Argyriou, Rina Foygel+1 more|arXiv (Cornell University)|Apr 23, 2012

Sparse and Compressive Sensing Techniques参考文献 20被引用 127

一句话总结

本文提出了 $k$-支持范数，作为稀疏性与 $σ_2$-范数约束交集的最紧凸松弛，提供了比弹性网络更优的替代方案，预测性能更佳。该范数被定义为 $k$-稀疏且 $σ_2$-范数为单位值的向量集合的凸包的规范函数，其样本复杂度呈 $O(k\log d)$ 刻画，相比弹性网络在松弛紧致性上提升了 $\sqrt{2}$ 倍。

ABSTRACT

We derive a novel norm that corresponds to the tightest convex relaxation of sparsity combined with an $\\ell_2$ penalty. We show that this new {\\em $k$-support norm} provides a tighter relaxation than the elastic net and is thus a good replacement for the Lasso or the elastic net in sparse prediction problems. Through the study of the $k$-support norm, we also bound the looseness of the elastic net, thus shedding new light on it and providing justification for its use.

研究动机与目标

• 开发一种针对有界 $σ_2$-范数的稀疏线性预测器的更紧凸松弛，超越弹性网络。
• 形式化稀疏性、$σ_2$-范数与凸松弛之间的关系，解决现有范数（如 Lasso 和弹性网络）的局限性。
• 推导并分析 $k$-支持范数作为 $k$-稀疏且单位 $σ_2$-范数向量集合的凸包的规范函数。
• 通过实证验证 $k$-支持范数在相关特征设置下相比 Lasso 和弹性网络具有更优的预测性能。
• 量化弹性网络与最优 $k$-支持范数之间松弛紧致性的差距，表明其差距在 $\sqrt{2}$ 因子以内。

提出的方法

• 将 $k$-支持范数定义为集合 $\{w \mid \|w\|_0 \leq k, \|w\|_2 \leq 1\}$ 的凸包的规范函数，即 $k$-稀疏且低 $\ell_2$-范数向量的最紧凸外逼近。
• 通过涉及 $\ell_1$ 和 $\ell_2$ 惩罚的对偶形式表征该范数，采用两阶段优化程序：首先选择支持集，再求解二次规划。
• 证明 $k$-支持范数严格优于弹性网络，当 $k > 1$ 时，$k$-支持范数的单位球严格包含于弹性网络的单位球内。
• 理论分析表明，基于 $k$-支持范数的学习样本复杂度为 $O(k\log d)$，优于 $\ell_1$-正则化学习的 $O(k^2\log d)$ 复杂度。
• 在合成数据、南非心脏病数据集及 20 Newsgroups 数据集上进行实证验证，比较 $k$-支持范数、Lasso 和弹性网络在测试集上的均方误差与准确率。
• 通过验证集上的交叉验证进行参数调优，性能以相对于最优预测器的均方误差衡量。

实验结果

研究问题

• RQ1 弹性网络是否为 $k$-稀疏性与单位 $σ_2$-范数约束交集的最紧凸松弛？
• RQ2 能否为具有 $σ_2$-范数正则化的稀疏预测构造出比弹性网络更紧的凸松弛？
• RQ3 基于 $k$-支持范数的学习的理论样本复杂度是多少？与弹性网络和 Lasso 相比如何？
• RQ4 在预测准确率与系数模式稳定性方面，$k$-支持范数相较于 Lasso 和弹性网络的实证表现如何？
• RQ5 从松弛紧致性角度，弹性网络与最优 $k$-支持范数之间的定量差距是多少？

主要发现

• $k$-支持范数是单位 $σ_2$-范数 $k$-稀疏向量集合的最紧凸松弛，构成该集合的凸包。
• $k$-支持范数严格优于弹性网络，当 $k > 1$ 时，$k$-支持范数的单位球严格包含于弹性网络的单位球内。
• 基于 $k$-支持范数的学习样本复杂度为 $O(k\log d)$，优于 $\ell_1$-正则化学习的 $O(k^2\log d)$ 复杂度。
• 弹性网络与 $k$-支持范数之间的差距被限制在 $\sqrt{2}$ 因子以内，意味着弹性网络在样本复杂度上距离最优松弛仅差两倍。
• 在合成数据实验中，$k$-支持范数的均方误差为 0.2342，低于 Lasso 的 0.2746 和弹性网络的 0.3119，表明其预测性能更优。
• 在 20 Newsgroups 数据集上，$k$-支持范数达到 73.40% 的准确率，优于 Lasso（73.02%）和弹性网络（72.53%），且系数稳定性更高，解的变异性更低。