[论文解读] Probabilistic Best Subset Selection by Gradient-Based Optimization

Mingzhang Yin, Nhat Ho+3 more|arXiv (Cornell University)|Jun 11, 2020

Sparse and Compressive Sensing Techniques参考文献 63被引用 5

一句话总结

该论文通过再参数化将离散变量选择问题重新表述为连续概率框架，提出了一种基于梯度的优化方法，用于精确的 $L_0$-正则化回归（最佳子集选择）。该方法引入了一种具有最优信噪比的无偏梯度估计器，能够在数秒内从数千个协变量中快速且准确地恢复真实稀疏模型，其在变量选择和预测性能方面均优于现有的惩罚方法和混合整数优化方法。

ABSTRACT

In high-dimensional statistics, variable selection is an optimization problem aiming to recover the latent sparse pattern from all possible covariate combinations. In this paper, we propose a novel optimization method to solve the exact $L_0$-regularized regression problem (a.k.a. best subset selection). We reformulate the optimization problem from a discrete space to a continuous one via probabilistic reparameterization. Within the framework of stochastic gradient descent, we propose a family of unbiased gradient estimators to optimize the $L_0$-regularized objective and a variational lower bound. Within this family, we identify the estimator with a non-vanishing signal-to-noise ratio and uniformly minimum variance. Theoretically, we study the general conditions under which the method is guaranteed to converge to the ground truth in expectation. In a wide variety of synthetic and semi-synthetic data sets, the proposed method outperforms existing variable selection methods that are based on penalized regression and mixed-integer optimization, in both sparse pattern recovery and out-of-sample prediction. Our method can find the true regression model from thousands of covariates in a couple of seconds. a

研究动机与目标

• 为解决高维回归中精确最佳子集选择的挑战，该问题在传统方法下计算上不可行。
• 将离散的 $L_0$-正则化优化问题重新表述为适合基于梯度优化的连续可微形式。
• 开发一种具有一致最小方差且信噪比不衰减的无偏梯度估计器，以实现高效优化。
• 在一般条件下建立理论收敛保证，使其收敛于真实解。
• 在实验中证明该方法在稀疏模式恢复和样本外预测方面优于现有方法。

提出的方法

• 使用概率再参数化重新表述离散的 $L_0$-正则化回归问题，将二元选择变量映射到连续潜在空间。
• 采用随机梯度下降（SGD）同时优化 $L_0$-正则化目标和变分下界。
• 为再参数化目标引入一族无偏梯度估计器，其中一种估计器实现了最优信噪比和最小方差。
• 通过混凝土松弛或类似的概率再参数化技术，对二元选择指示变量进行连续松弛。
• 优化变分下界以近似模型子集的真实后验分布。
• 确保梯度估计器无偏，并保持不衰减的信噪比，以实现稳定训练。

实验结果

研究问题

• RQ1 连续可微的离散 $L_0$-正则化问题松弛是否能够通过梯度下降实现高效且准确的最佳子集选择？
• RQ2 在所提出的估计器族中，哪一种在偏差与方差之间实现了最佳权衡，特别是具有不衰减的信噪比？
• RQ3 在何种一般条件下，该方法能够以期望方式收敛至真实稀疏模型？
• RQ4 与惩罚回归和混合整数优化方法相比，该方法在变量选择准确性和预测性能方面表现如何？
• RQ5 该方法是否能够在具有数千个协变量的高维设置下保持速度与准确性？

主要发现

• 所提出的方法仅用数秒即可从数千个协变量中恢复真实稀疏回归模型，展现出极高的计算效率。
• 在合成数据和半合成数据集上，其在稀疏模式恢复方面优于惩罚回归和混合整数优化方法。
• 该方法在样本外预测方面表现出强大的准确性，预测性能优于现有方法。
• 理论分析在一般条件下建立了其收敛于真实解的期望，验证了其一致性。
• 所识别的梯度估计器具有一致最小方差和不衰减的信噪比，从而实现了稳定优化。
• 该方法成功处理了传统最佳子集选择在计算上不可行的高维设置。