[论文解读] When is best subset selection the "best"?

Jianqing Fan, Yongyi Guo+1 more|arXiv (Cornell University)|Jul 3, 2020

Statistical Methods and Inference参考文献 27被引用 4

一句话总结

本文确定了最佳子集选择（BSS）实现最优模型恢复的条件——具体而言，即当其产生oracle估计量或实现sure screening性质时。研究表明，迭代硬阈值化（IHT）能够高效地找到一个近似最优的稀疏模型，随后在此集合中进行第二步BSS可恢复真实模型，其在模拟和真实数据中的表现优于LASSO、SCAD和SIS，具有更低的假发现率和更高的真正例率。

ABSTRACT

Best subset selection (BSS) is fundamental in statistics and machine learning. Despite the intensive studies of it, the fundamental question of when BSS is truly the best, namely yielding the oracle estimator, remains partially answered. In this paper, we address this important issue by giving a weak sufficient condition and a strong necessary condition for BSS to exactly recover the true model. We also give a weak sufficient condition for BSS to achieve the sure screening property. On the optimization aspect, we find that the exact combinatorial minimizer for BSS is unnecessary: all the established statistical properties for the best subset carry over to any sparse model whose residual sum of squares is close enough to that of the best subset. In particular, we show that an iterative hard thresholding (IHT) algorithm can find a sparse subset with the sure screening property within logarithmic steps; another round of BSS within this set can recover the true model. The simulation studies and real data examples show that IHT yields lower false discovery rates and higher true positive rates than the competing approaches including LASSO, SCAD and SIS.

研究动机与目标

• 确定最佳子集选择（BSS）在何种条件下能精确恢复真实模型，即实现oracle性质。
• 建立BSS产生真实模型的弱充分条件与强必要条件。
• 确定BSS实现sure screening性质的条件。
• 证明BSS的精确组合最小化器并非统计最优性的必要条件。
• 提出并验证一种结合IHT与BSS的高效两步法，以提升模型选择性能。

提出的方法

• 推导BSS精确恢复真实模型的弱充分条件与强必要条件。
• 引入一个概念：任何残差平方和（RSS）接近最佳子集RSS的稀疏模型，均继承相同的统计性质。
• 提出一种迭代硬阈值化（IHT）算法，可在对数步数内收敛至具有sure screening性质的稀疏模型。
• 在IHT筛选的模型上执行第二步BSS，以恢复真实模型。
• 通过模拟研究与真实数据实例，比较IHT-BSS与LASSO、SCAD和SIS在假发现率与真正例率方面的表现。
• 证明只要RSS足够接近最优值，BSS的统计性质即可保持不变。

实验结果

研究问题

• RQ1 在何种条件下，最佳子集选择能精确恢复真实模型？
• RQ2 何种条件可确保最佳子集选择实现sure screening性质？
• RQ3 BSS的精确组合最小化器是否为实现最优统计性能所必需？
• RQ4 迭代硬阈值化（IHT）能否高效识别出使后续BSS能恢复真实模型的模型子集？
• RQ5 IHT-BSS两步法在假发现率与真正例率方面相较于LASSO、SCAD和SIS表现如何？

主要发现

• 当设计矩阵与信号强度满足弱充分条件时，最佳子集选择可实现oracle估计量。
• 推导出精确模型恢复的强必要条件，为BSS性能提供了理论边界。
• 建立了sure screening性质的弱充分条件，确保真实模型被包含在所选子集中。
• BSS的精确组合最小化器并非必需；任何RSS接近最佳子集的稀疏模型，均保持相同的统计性质。
• 迭代硬阈值化（IHT）可在对数步数内找到具有sure screening性质的稀疏模型，从而实现高效的模型搜索。
• IHT-BSS两步法在模拟与真实数据应用中，均表现出低于LASSO、SCAD和SIS的假发现率与更高的真正例率。