[论文解读] Rank-one Convexification for Sparse Regression

Alper Atamtürk, Andrés Gómez|arXiv (Cornell University)|Jan 29, 2019

Sparse and Compressive Sensing Techniques参考文献 54被引用 21

一句话总结

该论文提出了一种新颖的秩一凸化方法，用于带ℓ₀约束的稀疏回归，将其表述为扩展空间中的更强的半定规划问题。该方法在基准数据集上可在数秒内获得近似最优解，优于现有最先进凸松弛方法，在解的质量和统计性能方面表现更优，最优性间隙低于0.4%，且稀疏恢复能力更强。

ABSTRACT

Sparse regression models are increasingly prevalent due to their ease of interpretability and superior out-of-sample performance. However, the exact model of sparse regression with an $\ell_0$ constraint restricting the support of the estimators is a challenging (\NP-hard) non-convex optimization problem. In this paper, we derive new strong convex relaxations for sparse regression. These relaxations are based on the ideal (convex-hull) formulations for rank-one quadratic terms with indicator variables. The new relaxations can be formulated as semidefinite optimization problems in an extended space and are stronger and more general than the state-of-the-art formulations, including the perspective reformulation and formulations with the reverse Huber penalty and the minimax concave penalty functions. Furthermore, the proposed rank-one strengthening can be interpreted as a extit{non-separable, non-convex, unbiased} sparsity-inducing regularizer, which dynamically adjusts its penalty according to the shape of the error function without inducing bias for the sparse solutions. In our computational experiments with benchmark datasets, the proposed conic formulations are solved within seconds and result in near-optimal solutions (with 0.4\% optimality gap) for non-convex $\ell_0$-problems. Moreover, the resulting estimators also outperform alternative convex approaches from a statistical perspective, achieving high prediction accuracy and good interpretability.

研究动机与目标

• 为解决具有ℓ₀约束的精确稀疏回归这一NP难问题，该问题为非凸且难以实现最优求解。
• 开发强于现有方法（如视角重构、反向Huber和最小最大凹惩罚（MCP））的凸松弛方法。
• 实现最佳子集选择和稀疏回归问题的可证明最优或近似最优解，同时保证稀疏性和低偏差。
• 通过结合无偏性与强凸松弛，更准确逼近真实的ℓ₀解，从而提升统计性能。
• 在不同信噪比（SNR）和相关结构下，展示计算效率和鲁棒性。

提出的方法

• 推导出带指示变量的秩一二次项的理想（凸包）公式，构成松弛方法的基础。
• 将稀疏回归问题重构为扩展变量空间中的半定规划（SDP），以增强松弛强度。
• 引入一种非可分、非凸且无偏的稀疏性诱导正则化项，其惩罚力度根据误差函数形状动态调整。
• 采用两阶段锥规划公式，记为sdp₂，整合秩一凸化，其边界紧致性优于大M法或标准混合整数优化（MIO）方法。
• 利用强SDP松弛的分支定界框架，高效证明最优性或近似最优性。
• 通过非可分正则化，将该方法应用于标准稀疏回归及广义变体，包括融合Lasso和广义Lasso。

实验结果

研究问题

• RQ1 与现有最先进公式相比，秩一凸化能否为ℓ₀稀疏回归生成更强的凸松弛？
• RQ2 所提出的锥规划公式是否能在实际计算时间内实现最佳子集选择问题的近似最优解？
• RQ3 在高信噪比条件下，该方法能否恢复真实的稀疏模式，同时在低信噪比环境下避免过拟合？
• RQ4 与弹性网络和Lasso相比，该方法在预测精度和稀疏性方面表现如何？
• RQ5 与Lasso和MCP型惩罚相比，该方法的非可分、非凸正则化项在多大程度上降低了偏差？

主要发现

• 在n=500、p=100、k=5的基准实例上，所提出的sdp₂公式最优性间隙不超过0.3%，当ρ=0.00时，97%的解可被严格证明为最优。
• 当ρ=0.35时，68%的解可被严格证明为最优，显著优于MIO求解器在相同时间限制下仅35%的最优解达成率。
• 该方法平均约30秒内计算出近似最优解，不同信噪比水平下的计算时间范围为25.9至48.0秒。
• 在高信噪比条件下，sdp₂始终能恢复真实的稀疏模式（k≈s），而弹性网络则无法做到，尤其在ρ=0时表现更差。
• 在低信噪比环境（如SNR=0.05）下，弹性网络优于sdp₂；但在所有更高信噪比下，sdp₂在预测精度和稀疏性方面均显著更优。
• 该方法在不同相关结构（ρ=0.00至ρ=0.35）下表现出鲁棒性，尤其在无相关设置中性能更优，此时Lasso和弹性网络存在过拟合现象。