[论文解读] Signal Adaptive Variable Selector for the Horseshoe Prior

Pallavi Ray, Anirban Bhattacharya|arXiv (Cornell University)|Oct 21, 2018

Genetic and phenotypic traits in livestock被引用 8

一句话总结

该论文提出了一种信号自适应可变选择器（SAVS），这是一种完全自动化、无需调参的高维回归变量选择方法，采用正态收缩先验。SAVS通过基于信号强度自适应地对系数进行阈值处理，后处理后验均值以识别信号与零假设，实现了在各种设计下的稳健性能，并在具有20,000多个协变量的模拟和真实基因组数据中优于经典的频率学派和贝叶斯方法。

ABSTRACT

In this article, we propose a simple method to perform variable selection as a post model-fitting exercise using continuous shrinkage priors such as the popular horseshoe prior. The proposed Signal Adaptive Variable Selector (SAVS) approach post-processes a point estimate such as the posterior mean to group the variables into signals and nulls. The approach is completely automated and does not require specification of any tuning parameters. We carried out a comprehensive simulation study to compare the performance of the proposed SAVS approach to frequentist penalization procedures and Bayesian model selection procedures. SAVS was found to be highly competitive across all the settings considered, and was particularly found to be robust to correlated designs. We also applied SAVS to a genomic dataset with more than 20,000 covariates to illustrate its scalability.

研究动机与目标

• 解决连续收缩先验（如正态收缩先验）在高维回归中缺乏自动化、无需调参的变量选择方法的问题。
• 开发一种后处理方法，将后验均值转换为稀疏估计，而无需用户指定阈值。
• 与现有频率学派和贝叶斯变量选择技术相比，提升对相关设计的鲁棒性。
• 在具有超过20,000个协变量的高维基因组数据上展示该方法的可扩展性。

提出的方法

• SAVS后处理通过MCMC或确定性近似获得的点估计（如后验均值或中位数）。
• 它使用基于信号强度的准则自适应地对后验均值进行阈值处理，将变量划分为信号和零假设。
• 该方法完全自动化，无需调参，依赖后验均值的经验分布来定义信号边界。
• 它利用后验均值的收缩特性来区分非零（信号）和零（噪声）系数。
• 该方法可推广至其他全局-局部收缩先验，尽管本文聚焦于正态收缩先验。
• 该过程计算高效且可扩展，适用于大规模数据集（如p > 20,000个协变量）。

实验结果

研究问题

• RQ1 能否开发一种完全自动化、无需调参的方法，在拟合正态收缩先验模型后实现变量选择？
• RQ2 在高维、相关设计中，SAVS与SCAD、MCP和自适应lasso等频率学派惩罚方法相比表现如何？
• RQ3 SAVS在不同信号强度和相关结构下是否能保持高统计功效和低假发现率？
• RQ4 SAVS能否有效扩展到具有数万个协变量的大规模基因组数据集？

主要发现

• 在所有模拟设置中，SAVS的中位真阳性率为0.96，在正交设计（Set-1）中达到100%功效，在相关设计（Set-2）中保持高功效（0.81–0.94）。
• 在相关设计（Set-2）中，SAVS保持了高真阳性率（0.80–0.95）和低假发现率（0.00–0.19），在多个配置中优于SCAD、自适应lasso和MCP。
• 在具有超过20,000个协变量的基因组数据集中，SAVS成功以高精度和可扩展性识别出相关信号，展示了其在实际应用中的实用性。
• SAVS在相关设计中表现出显著鲁棒性，而频率学派方法如SCAD和MCP在该设置下性能显著下降（例如，Set-2中真阳性率为0.00–0.06）。
• 在Set-1（正交设计）的10个模拟情景中有8个达到100%真阳性率，表明其在理想条件下的强大性能。
• 在弱信号场景下，SAVS在Set-2中保持0.81的真阳性率，而自适应lasso和MCP分别降至0.59和0.60，显示出对弱信号更强的敏感性。