[论文解读] Screening Rules for Lasso with Non-Convex Sparse Regularizers

Alain Rakotomamonjy, Gilles Gasso+1 more|arXiv (Cornell University)|Feb 16, 2019

Systemic Lupus Erythematosus Research参考文献 3被引用 10

一句话总结

本文提出了首个针对Lasso问题中非凸稀疏正则化项的筛选规则策略，基于大化-最小化（MM）框架，通过基于对偶间隙的筛选与迭代间筛选传播，迭代求解加权Lasso子问题。该方法通过在有限时间内识别出零分量来加速收敛，在高精度设置下相比非筛选方法最高可实现6.5倍的加速。

ABSTRACT

Leveraging on the convexity of the Lasso problem , screening rules help in accelerating solvers by discarding irrelevant variables, during the optimization process. However, because they provide better theoretical guarantees in identifying relevant variables, several non-convex regularizers for the Lasso have been proposed in the literature. This work is the first that introduces a screening rule strategy into a non-convex Lasso solver. The approach we propose is based on a iterative majorization-minimization (MM) strategy that includes a screening rule in the inner solver and a condition for propagating screened variables between iterations of MM. In addition to improve efficiency of solvers, we also provide guarantees that the inner solver is able to identify the zeros components of its critical point in finite time. Our experimental analysis illustrates the significant computational gain brought by the new screening rule compared to classical coordinate-descent or proximal gradient descent methods.

研究动机与目标

• 为解决非凸稀疏正则化中缺乏筛选规则的问题，而这类规则在凸Lasso中已有广泛应用。
• 开发一种与SCAD、MCP和Log Sum等非凸惩罚项兼容的筛选策略，这些惩罚项能更优地逼近ℓ₀-范数稀疏性。
• 将筛选机制整合进MM优化框架，确保安全且高效地剔除无关变量。
• 提供理论保证，证明内部求解器可在有限时间内识别出临界点的零分量。
• 通过实证验证，筛选传播在MM迭代间显著提升求解器效率。

提出的方法

• 采用凹的、可微的惩罚函数（如SCAD、MCP和Log Sum）构建非凸Lasso问题，结合ℓ₂损失和促进稀疏性的正则化项。
• 应用大化-最小化（MM）原理，通过迭代最小化一个凸代理函数，将非凸问题转化为一系列加权Lasso子问题。
• 在每个加权Lasso求解中采用基于对偶间隙的筛选规则，以在有限时间内识别并剔除不活跃变量。
• 提出一种传播规则，将前一MM迭代中筛选出的变量信息传递至下一迭代，减少冗余计算。
• 采用基于对偶间隙容差τ的停止准则，每5次内层迭代应用一次筛选，每10次外层MM迭代执行一次。
• 使用Python/Numpy实现该方法，与坐标下降法（ncvxCD）和GIST进行比较，保持一致的收敛性检查。

实验结果

研究问题

• RQ1 尽管存在非凸性，筛选规则是否能有效扩展至非凸稀疏正则化Lasso问题？
• RQ2 在MM框架的加权Lasso子问题中，基于对偶间隙的筛选规则是否能在有限时间内识别出解的所有零分量？
• RQ3 在MM迭代间传播筛选出的变量是否能带来可测量的收敛速度提升？
• RQ4 在不同噪声水平和精度要求下，所提出的筛选策略与标准非凸求解器（如ncvxCD和GIST）相比，效率如何？
• RQ5 在合成数据集和真实数据集上，筛选传播对计算时间的影响如何？

主要发现

• 在10⁻⁸的高精度容差下，所提出的MM-screen方法相比非筛选的MM-genuine变体最高可实现6.5倍加速。
• 在低噪声（σ = 0.01）的合成问题中，筛选传播带来1.8倍至4倍的稳定加速，最高达6.5倍，尤其在高精度需求下表现突出。
• 基于对偶间隙的筛选规则在每个加权Lasso求解中均成功在有限时间内识别出临界点的所有零分量。
• 在白血病数据集（n=72, d=7129）上，该方法在高容差下相比ncvxCD实现3–5倍加速，相比GIST实现约4倍加速。
• 在稀疏新闻组数据集（n=961, d=21,319）上，筛选传播带来1.3–1.8倍加速，与合成数据结果一致。
• 在所有设置下，该方法相比普通非凸坐标下降法将计算时间减少约5倍，展现出稳健的效率提升。