[论文解读] Sparse Support Vector Infinite Push

Alain Rakotomamonjy|arXiv (Cornell University)|Jun 27, 2012

Sparse and Compressive Sensing Techniques参考文献 21被引用 14

一句话总结

本文提出了一种带有无限推力损失函数的稀疏支持向量机，用于排序顶部问题中的嵌入式特征选择。它采用增广拉格朗日乘子法（ADMM）并结合一种新颖的近似算子来处理 ∞-范数推力损失，从而实现高效优化与稀疏性；实验表明，与竞争方法相比，该方法在使用更少特征的情况下，仍能实现更优的顶部排序性能。

ABSTRACT

In this paper, we address the problem of embedded feature selection for ranking on top of the list problems. We pose this problem as a regularized empirical risk minimization with $p$-norm push loss function ($p=\infty$) and sparsity inducing regularizers. We leverage the issues related to this challenging optimization problem by considering an alternating direction method of multipliers algorithm which is built upon proximal operators of the loss function and the regularizer. Our main technical contribution is thus to provide a numerical scheme for computing the infinite push loss function proximal operator. Experimental results on toy, DNA microarray and BCI problems show how our novel algorithm compares favorably to competitors for ranking on top while using fewer variables in the scoring function.

研究动机与目标

• 为在排序顶部问题中解决嵌入式特征选择，提出基于正则化经验风险最小化框架。
• 将 p-范数推力损失（p=∞）纳入模型，以突出顶部排序实例的重要性。
• 通过稀疏性诱导正则化项在评分函数中引入稀疏性。
• 开发一种利用ADMM和近似算子的高效优化算法。
• 在真实世界数据集中，实现使用最少特征的高性能排序。

提出的方法

• 将问题建模为带有∞-范数推力损失和稀疏性诱导正则化的正则化经验风险最小化问题。
• 应用增广拉格朗日乘子法（ADMM）将优化问题分解为可处理的子问题。
• 推导出一种新颖的数值方法，用于计算无穷推力损失函数的近似算子。
• 利用近似算子处理损失函数和正则化项，以支持迭代优化。
• 在可能的情况下，通过闭式更新求解子问题，确保计算效率。
• 在ADMM框架内采用坐标下降风格的更新策略，以处理非光滑分量。

实验结果

研究问题

• RQ1 无穷推力损失函数是否能提升对顶部排序实例的排序性能？
• RQ2 所提出的基于ADMM的优化方法，结合∞-范数推力损失的新型近似算子，效果如何？
• RQ3 该方法在保持顶部排序准确率的同时，能在多大程度上实现特征选择的稀疏性？
• RQ4 在特征使用量和排序性能方面，该方法与现有方法相比表现如何？
• RQ5 该算法在DNA微阵列和脑机接口（BCI）等多样化数据集上是否具有良好的泛化能力？

主要发现

• 所提方法在多个基准数据集的排序顶部任务中实现了最先进性能。
• 该方法始终选择比竞争方法更少的特征，同时保持或提升排序准确率。
• 无穷推力损失函数有效优先确保了顶部实例的正确排序，精度在顶部排名中的提升可作为证据。
• 针对∞-范数推力损失的新型近似算子，使得ADMM框架中的优化更加稳定且高效。
• 在玩具数据集、DNA微阵列和BCI数据集上的实验结果，证实了该方法的鲁棒性与可扩展性。
• 该算法表现出强大的泛化能力，在稀疏性与排序质量方面均优于基线方法。