[论文解读] Safe Screening With Variational Inequalities and Its Application to LASSO

Jun Liu, Zheng Zhao+2 more|arXiv (Cornell University)|Jul 29, 2013

Statistical Methods and Inference参考文献 16被引用 66

一句话总结

本文提出Sasvi，一种新颖的Lasso安全筛选方法，利用变分不等式推导出更强的、基于最优性的筛选规则。通过使用对偶问题的精确变分不等式条件，Sasvi比以往的安全筛选方法更有效地识别出无关特征，在保证不误删活跃特征的前提下实现显著的计算加速。

ABSTRACT

Sparse learning techniques have been routinely used for feature selection as the resulting model usually has a small number of non-zero entries. Safe screening, which eliminates the features that are guaranteed to have zero coefficients for a certain value of the regularization parameter, is a technique for improving the computational efficiency. Safe screening is gaining increasing attention since 1) solving sparse learning formulations usually has a high computational cost especially when the number of features is large and 2) one needs to try several regularization parameters to select a suitable model. In this paper, we propose an approach called "Sasvi" (Safe screening with variational inequalities). Sasvi makes use of the variational inequality that provides the sufficient and necessary optimality condition for the dual problem. Several existing approaches for Lasso screening can be casted as relaxed versions of the proposed Sasvi, thus Sasvi provides a stronger safe screening rule. We further study the monotone properties of Sasvi for Lasso, based on which a sure removal regularization parameter can be identified for each feature. Experimental results on both synthetic and real data sets are reported to demonstrate the effectiveness of the proposed Sasvi for Lasso screening.

研究动机与目标

• 开发一种更有效的Lasso安全筛选规则，确保不会错误地移除活跃特征。
• 利用变分不等式条件作为对偶问题的充分必要最优性准则，以强化筛选规则。
• 利用筛选边界单调性特征，为每个特征识别出一个‘确定移除’的正则化参数。
• 在计算效率和准确性方面，证明所提方法优于现有安全筛选规则（如SAFE、DPP）和启发式规则（如强规则）。
• 将该框架扩展至广义稀疏线性模型（如稀疏逻辑回归），并应用类似的变分不等式原理。

提出的方法

• 推导Lasso优化问题的对偶问题，并将变分不等式条件用作对偶变量的精确最优性准则。
• 利用先前解的最优性条件，在更小的正则化参数下构造对偶变量的可行集。
• 利用该可行集估计每个特征j的内积|⟨x_j, θ*⟩|的上界，若该上界小于1，则可安全进行筛选。
• 建立上界函数的单调性性质，以识别每个特征的‘确定移除’正则化参数，确保其在该点之后保持非活跃状态。
• 沿Lasso路径迭代应用筛选规则，在每一步中剔除可证明为非活跃的特征。
• 通过推导稀疏逻辑回归的对偶问题，并应用相同的基于变分不等式的筛选框架（辅以近似以保证可计算性），将方法扩展至稀疏逻辑回归。

实验结果

研究问题

• RQ1 与现有安全筛选方法相比，变分不等式能否用于推导出更强的、可证明正确的Lasso筛选规则？
• RQ2 所提出的Sasvi方法在特征剔除能力方面，相较于SAFE和DPP等松弛筛选规则有何改进？
• RQ3 上界估计中的单调性起什么作用？如何利用它来识别每个特征的‘确定移除’正则化参数？
• RQ4 在计算效率和准确性方面，Sasvi与启发式筛选规则（如强规则）相比如何，特别是在避免校正步骤方面？
• RQ5 基于变分不等式的筛选框架能否推广至其他稀疏线性模型（如逻辑回归）？

主要发现

• Sasvi在计算速度上显著优于SAFE和DPP，在包含5,000个特征的合成数据上，平均运行时间从101.55秒减少至2.76秒。
• 在MNIST数据集上，Sasvi将运行时间从2,683.57秒减少至5.02秒，相比基线求解器实现超过500倍的加速。
• Sasvi的剔除比率与强规则（一种启发式方法）相当，但优势在于其可证明正确，且无需KKT检查或校正步骤。
• 所提方法为每个特征识别出一个‘确定移除’正则化参数，从而可在解路径上实现早期且保证的非活跃特征剔除。
• 实验结果表明，Sasvi在保持高筛选准确率的同时，相比现有安全筛选规则提供了更强的理论保证。
• 将方法扩展至稀疏逻辑回归在原则上是可行的，但上界估计更为复杂，可能需要采用二次近似以保证可计算性。