[论文解读] Solving large-scale L1-regularized SVMs and cousins: the surprising effectiveness of column and constraint generation.

Antoine Dedieu, Rahul Mazumder|arXiv (Cornell University)|Jan 6, 2019

Sparse and Compressive Sensing Techniques参考文献 32被引用 5

一句话总结

本文提出了一种新颖的列与约束生成算法，将经典分解方法与一阶优化相结合，以求解大规模 L1-正则化支持向量机（SVM）及相关问题。通过协同利用这些技术，该方法在真实与合成数据集上相比商业求解器和专用实现，实现了数量级的加速，展现出在具有挑战性的基于线性规划（LP）的机器学习任务中的惊人有效性。

ABSTRACT

The linear Support Vector Machine (SVM) is one of the most popular binary classification techniques in machine learning. Motivated by applications in modern high dimensional statistics, we consider penalized SVM problems involving the minimization of a hinge-loss function with a convex sparsity-inducing regularizer such as: the L1-norm on the coefficients, its grouped generalization and the sorted L1-penalty (aka Slope). Each problem can be expressed as a Linear Program (LP) and is computationally challenging when the number of features and/or samples is large -- the current state of algorithms for these problems is rather nascent when compared to the usual L2-regularized linear SVM. To this end, we propose new computational algorithms for these LPs by bringing together techniques from (a) classical column (and constraint) generation methods and (b) first order methods for non-smooth convex optimization - techniques that are rarely used together for solving large scale LPs. These components have their respective strengths; and while they are found to be useful as separate entities, they have not been used together in the context of solving large scale LPs such as the ones studied herein. Our approach complements the strengths of (a) and (b) --- leading to a scheme that seems to outperform commercial solvers as well as specialized implementations for these problems by orders of magnitude. We present numerical results on a series of real and synthetic datasets demonstrating the surprising effectiveness of classic column/constraint generation methods in the context of challenging LP-based machine learning tasks.

研究动机与目标

• 为解决大规模 L1-正则化支持向量机及其相关问题（如分组 Lasso 和 Slope-正则化支持向量机）的计算挑战。
• 克服现有算法相较于 L2-正则化支持向量机求解器仍不成熟的问题，尤其是在高维设置下的局限性。
• 开发一种可扩展且高效的解决方案框架，充分利用列/约束生成与一阶方法在非光滑凸优化中的优势。
• 在真实世界与合成数据集上展示该混合方法的有效性，表明其在性能上显著优于当前最先进的求解器。

提出的方法

• 将 L1-正则化支持向量机及其变体建模为大规模线性规划（LP）问题，利用其结构实现分解。
• 采用列生成动态生成相关特征（列），并通过约束生成识别活跃约束，从而迭代减小问题规模。
• 使用一阶方法（如次梯度法或捆绑法）高效求解主问题，利用铰链损失与 L1 正则化结合产生的非光滑凸结构。
• 算法在通过一阶方法求解受限主问题与通过定价子问题生成新列/约束之间交替进行，确保收敛至最优解。
• 通过调整定价与主问题公式，将该方法扩展至分组 L1 正则化与 Slope 惩罚，以尊重组结构与排序惩罚。
• 将经典分解方法与现代一阶优化相结合，形成一种协同机制，其性能优于单独使用任一组件。

实验结果

研究问题

• RQ1 列与约束生成技术能否与一阶方法有效结合，以比现有方法更高效地求解大规模 L1-正则化支持向量机？
• RQ2 所提出的混合方法在性能上与商业求解器及 L1-正则化支持向量机专用实现相比如何？
• RQ3 分解与一阶优化的集成在高维数据集上的可扩展性方面能提升到何种程度？
• RQ4 该方法在包括分组 Lasso 和 Slope 在内的多种正则化器上是否保持强性能？
• RQ5 该方法在真实世界与合成数据集上的实际影响如何，特别是在求解时间与收敛速度方面？

主要发现

• 所提出的列与约束生成方法在求解时间上相比商业求解器与专用实现，对 L1-正则化支持向量机实现了数量级的显著提升。
• 一阶方法与列/约束生成的集成产生了协同效应，使两者的优点得到增强。
• 该方法在真实与合成数据集上均实现了快速收敛与良好可扩展性，即使在特征与样本数量庞大的高维设置下亦然。
• 该方法在多种正则化器上均表现有效，包括标准 L1、分组 Lasso 与 Slope，展现出广泛的适用性。
• 数值实验表明，该方法在各类问题实例中均保持稳健性能，通常可在数分钟内求解此前标准求解器难以处理的问题。