[论文解读] The Trimmed Lasso: Sparsity and Robustness

Dimitris Bertsimas, Martin S. Copenhaver+1 more|arXiv (Cornell University)|Aug 15, 2017

Sparse and Compressive Sensing Techniques参考文献 62被引用 13

一句话总结

本文提出了剪裁Lasso（trimmed Lasso），一种非凸稀疏回归方法，通过离散参数k实现对稀疏性的精确控制，可直接选择恰好k个非零系数。该方法建立了与鲁棒优化和总体最小二乘法的联系，证明其严格优于标准坐标可分惩罚项，且提供了高效求解精确解与启发式解的算法，理论与实证性能均表现优异。

ABSTRACT

Nonconvex penalty methods for sparse modeling in linear regression have been a topic of fervent interest in recent years. Herein, we study a family of nonconvex penalty functions that we call the trimmed Lasso and that offers exact control over the desired level of sparsity of estimators. We analyze its structural properties and in doing so show the following: 1) Drawing parallels between robust statistics and robust optimization, we show that the trimmed-Lasso-regularized least squares problem can be viewed as a generalized form of total least squares under a specific model of uncertainty. In contrast, this same model of uncertainty, viewed instead through a robust optimization lens, leads to the convex SLOPE (or OWL) penalty. 2) Further, in relating the trimmed Lasso to commonly used sparsity-inducing penalty functions, we provide a succinct characterization of the connection between trimmed-Lasso- like approaches and penalty functions that are coordinate-wise separable, showing that the trimmed penalties subsume existing coordinate-wise separable penalties, with strict containment in general. 3) Finally, we describe a variety of exact and heuristic algorithms, both existing and new, for trimmed Lasso regularized estimation problems. We include a comparison between the different approaches and an accompanying implementation of the algorithms.

研究动机与目标

• 开发一种稀疏回归方法，通过离散参数k实现对非零系数数量的精确控制，克服标准Lasso中通过正则化参数间接控制稀疏性的局限。
• 建立剪裁Lasso与鲁棒优化之间的理论与算法联系，特别是揭示其在不确定性下的与总体最小二乘法的关联。
• 证明剪裁Lasso惩罚项严格包含常用的坐标可分惩罚项（如Lasso、SCAD、MCP），提供更大的建模灵活性。
• 设计并实现高效求解剪裁Lasso问题的精确与启发式算法，包含计算复杂度分析与实证验证。

提出的方法

• 提出剪裁Lasso惩罚项 Tk(β) = ∑_{i=k+1}^p |β_{(i)}|，定义为β中绝对值最小的p−k个分量的绝对值之和，从而通过k实现对稀疏性的直接控制。
• 将剪裁Lasso问题重述为 min_β (1/2)‖y−Xβ‖²₂ + λTk(β)，表明当λ足够大时，该问题的解能精确恢复具有k个非零系数的最佳子集选择（1）。
• 通过证明相同不确定性模型可导出剪裁Lasso（非凸）与SLOPE/OWL（凸）惩罚项，建立了剪裁Lasso与鲁棒优化之间的对偶关系。
• 提出一种基于活动集方法与最优性条件的精确算法，利用剪裁Lasso惩罚项的次微分严格大于可分惩罚项的次微分这一特性。
• 针对正交设计情形，通过两阶段优化推导出闭式解：先识别k个最大绝对值分量，再对剩余分量进行软阈值化。
• 针对一般设计矩阵，采用交替最小化与ADMM方法，具有收敛性保证，且每轮迭代的计算复杂度为O(p log p + np)。

实验结果

研究问题

• RQ1 能否设计一种非凸惩罚项，实现对稀疏回归中非零系数数量的精确控制，且独立于正则化参数？
• RQ2 在结构化不确定性下，剪裁Lasso与鲁棒优化及总体最小二乘法有何关系？
• RQ3 剪裁Lasso在哪些方面严格推广了Lasso、SCAD、MCP等坐标可分惩罚项？
• RQ4 可设计出何种高效算法以精确或近似求解剪裁Lasso问题，且具备有利的计算复杂度？
• RQ5 在稀疏性、估计精度与鲁棒性方面，剪裁Lasso相较于标准稀疏方法的实证表现如何？

主要发现

• 剪裁Lasso惩罚项Tk(β)通过离散参数k实现对稀疏性的精确控制，且当λ足够大时，问题(4)的解能精确恢复最佳子集选择解(1)。
• 剪裁Lasso问题被证明等价于在特定不确定性模型下的鲁棒优化形式的总体最小二乘法，建立了稀疏回归与鲁棒优化之间全新的联系。
• 剪裁Lasso惩罚项严格包含所有坐标可分惩罚项（如Lasso、MCP、SCAD），且在一般情况下存在严格包含关系，这通过存在不属于可分惩罚项次微分的次梯度得到验证。
• 提出一种精确算法，每轮迭代时间复杂度为O(p log p + np)，利用活动集方法与最优性条件求解剪裁Lasso问题。
• 对于正交设计情形，推导出闭式解：若i属于α中k个最大绝对值分量，则γ∗_i = α_i；否则γ∗_i = soft_{λ/σ}(α_i)，其中soft为软阈值算子。
• 在合成数据上的实证结果表明，剪裁Lasso在100个实例中几何平均目标差距低于最优值的1%，且ADMM与交替最小化方法均能可靠收敛。