[论文解读] Quantile universal threshold for model selection

Caroline Giacobino, Sylvain Sardy+2 more|arXiv (Cornell University)|Nov 17, 2015

Image and Signal Denoising Methods参考文献 65被引用 6

一句话总结

本文提出分位数通用阈值（QUT），一种新颖的方法，通过基于分位数的阈值函数将高维模型中正则化参数λ的选择从未知尺度转化为概率尺度，从而实现高概率下的有效变量筛选。该方法在识别真实模型支撑集方面优于传统方法（如交叉验证和SURE），同时最小化了误发现数量。

ABSTRACT

Efficient recovery of a low-dimensional structure from high-dimensional data has been pursued in various settings including wavelet denoising, generalized linear models and low-rank matrix estimation. By thresholding some parameters to zero, estimators such as lasso, elastic net and subset selection allow to perform not only parameter estimation but also variable selection, leading to sparsity. Yet one crucial step challenges all these estimators: the choice of the threshold parameter~$λ$. If too large, important features are missing; if too small, incorrect features are included. Within a unified framework, we propose a new selection of $λ$ at the detection edge under the null model. To that aim, we introduce the concept of a zero-thresholding function and a null-thresholding statistic, that we explicitly derive for a large class of estimators. The new approach has the great advantage of transforming the selection of $λ$ from an unknown scale to a probabilistic scale with the simple selection of a probability level. Numerical results show the effectiveness of our approach in terms of model selection and prediction.

研究动机与目标

• 解决高维模型中正则化参数λ选择的关键挑战，因为选择不当会导致遗漏真实特征或引入虚假特征。
• 在单一阈值框架下统一线性回归、广义线性模型、低秩矩阵估计和密度估计等多种设定下的模型选择。
• 开发一种方法，通过在概率尺度上操作而非未知尺度，确保以高概率实现变量筛选。
• 改进现有准则（如交叉验证、AIC、BIC和SURE）在高维设定下进行模型识别时的性能，这些准则通常表现欠佳。
• 建立模型选择性能的相变行为，识别出能够一致恢复真实支撑集的条件。

提出的方法

• 提出零阈值函数，作为刻画零模型下阈值估计器行为的关键组件。
• 定义零阈值统计量，用于量化在无真实信号存在时估计系数的分布。
• 引入分位数通用阈值（QUT），即零阈值统计量的α分位数，从而基于选定的概率水平α来选择λ。
• 为包括Lasso、弹性网络和低秩矩阵估计器在内的广泛估计器类别，推导出零阈值函数和零阈值统计量的显式表达式。
• 利用基于分位数的阈值，确保估计模型支撑集以至少1−α的概率包含真实支撑集。
• 通过模拟研究和真实数据研究验证方法在基因组学和图像分类等多个领域的有效性。

实验结果

研究问题

• RQ1 能否为多种高维模型中的正则化参数λ选择建立统一框架？
• RQ2 如何将阈值选择问题从未知尺度转化为概率尺度，以提升模型识别性能？
• RQ3 所提出的分位数通用阈值（QUT）在实现受控错误发现率的变量筛选方面表现如何？
• RQ4 与经典方法（如交叉验证、SURE和BIC）相比，QUT在支撑集恢复和预测准确性方面表现如何？
• RQ5 QUT方法是否表现出类似于压缩感知的模型选择性能相变行为？

主要发现

• QUT方法在变量筛选中接近或达至Oracle性能，其模型恢复的相变行为与理论Oracle规则高度吻合。
• 与交叉验证（CVmin和CV1se）及SURE相比，QUT在Oracle包含率（OIR）方面表现显著更优，表明其在保持高真正例率的同时更好地控制了误发现。
• 该方法对截距β₀*估计不确定性的鲁棒性良好，表现为在不同估计步骤下真正例率（TPr）和错误发现率（FDr）保持稳定。
• QUT在不同稀疏度和欠采样因子（δ和ρ）下均保持高OIR，表明其在高维设定下具有持续稳定的性能。
• 对于√Lasso的QUT表现较差，原因在于其零阈值函数结构更为复杂，凸显了该方法对估计器结构的敏感性。
• 所提出的框架成功统一了线性回归、广义线性模型、低秩矩阵估计和密度估计等多个领域的模型选择。