[论文解读] Subset Selection with Shrinkage: Sparse Linear Modeling when the SNR is low

Rahul Mazumder, Peter Radchenko+1 more|arXiv (Cornell University)|Aug 10, 2017

Sparse and Compressive Sensing Techniques被引用 9

一句话总结

该论文提出了一种正则化子集选择方法，结合最佳子集选择与收缩技术，以在信噪比（SNR）较低的场景中提升预测性能，此类场景下传统最佳子集选择方法易发生过拟合。该方法将问题建模为混合整数二次锥优化问题，相较于Lasso、岭回归及其他稀疏方法，在高噪声环境下可获得更稀疏的模型与更优的预测精度。

ABSTRACT

We study a seemingly unexpected and relatively less understood overfitting aspect of a fundamental tool in sparse linear modeling - best subset selection, which minimizes the residual sum of squares subject to a constraint on the number of nonzero coefficients. While the best subset selection procedure is often perceived as the "gold standard" in sparse learning when the signal to noise ratio (SNR) is high, its predictive performance deteriorates when the SNR is low. In particular, it is outperformed by continuous shrinkage methods, such as ridge regression and the Lasso. We investigate the behavior of best subset selection in the high-noise regimes and propose an alternative approach based on a regularized version of the least-squares criterion. Our proposed estimators (a) mitigate, to a large extent, the poor predictive performance of best subset selection in the high-noise regimes; and (b) perform favorably, while generally delivering substantially sparser models, relative to the best predictive models available via ridge regression and the Lasso. We conduct an extensive theoretical analysis of the predictive properties of the proposed approach and provide justification for its superior predictive performance relative to best subset selection when the noise-level is high. Our estimators can be expressed as solutions to mixed integer second order conic optimization problems and, hence, are amenable to modern computational tools from mathematical optimization.

研究动机与目标

• 解决在信噪比（SNR）较低的场景中，尽管最佳子集选择具有理论优势，但其预测性能仍较差的问题，此类场景下易发生过拟合。
• 探究在高噪声条件下，最佳子集选择失效的原因，特别是由于缺乏系数收缩及特征选择的不稳定性。
• 开发一种将子集选择与收缩相结合的正则化估计器，以在高噪声环境下实现更优的偏差-方差权衡。
• 证明所提方法在保持或提升预测精度的同时，相比Lasso和岭回归，能产生显著更稀疏的模型。
• 为所提方法在高噪声水平下相对于最佳子集选择的性能提升提供理论依据。

提出的方法

• 提出一种正则化最小二乘准则，结合模型大小的$\ell_0$-范数约束与系数的二次收缩惩罚。
• 将估计器建模为混合整数二次锥优化问题，利用现代MIO求解器实现全局优化。
• 采用两阶段方法：首先通过$\ell_0$约束优化选择特征子集，然后对选定特征的系数施加收缩。
• 在惩罚函数中引入调优参数$q$（例如$q=2$），以控制收缩程度，实现稀疏性与预测性能之间的灵活权衡。
• 利用混合整数优化的最新进展，将组合问题求解至可验证的全局最优，突破以往的计算瓶颈。
• 采用与现代求解器兼容的优化框架实现该方法，使其可实际部署于真实与合成数据集。

实验结果

研究问题

• RQ1 为何尽管在高SNR场景下被视为黄金标准，最佳子集选择在低SNR场景中仍会失效？
• RQ2 在高噪声条件下，缺乏系数收缩在多大程度上导致了最佳子集选择的过拟合？
• RQ3 是否能够设计一种结合收缩的正则化版本最佳子集选择方法，使其在低SNR场景下优于最佳子集选择及连续收缩方法（如Lasso和岭回归）？
• RQ4 与Mnet、AEN和松弛Lasso等先进稀疏模型相比，所提方法在稀疏性与预测精度之间如何实现更好的平衡？
• RQ5 哪些理论特性可解释该估计器在高噪声、低SNR场景下预测性能的提升？

主要发现

• 在SNR较低时，所提方法在预测误差方面显著优于最佳子集选择，尤其在高噪声场景下表现突出。
• 该方法产生的模型相比Lasso和岭回归显著更稀疏，同时保持或提升了预测精度。
• 在真实数据集（Triazine、Riboflavin、Leukemia、Rat）上，所提方法的预测误差更低，且非零系数数量更少，优于Lasso、松弛Lasso、Mnet、AEN和SSL。
• 该方法在不同SNR水平下表现稳健，当SNR低于2时，预测精度持续提升。
• 理论分析表明，由于对所选系数实施了受控收缩，所提估计器在高噪声下相比最佳子集选择具有更优的偏差-方差权衡。
• 实证结果表明，纯$\ell_0$选择倾向于因模型过稀疏而产生欠拟合，而所提的$\ell_0 + \ell_2$-收缩方法在稀疏性与预测能力之间实现了更优平衡。