[论文解读] Projection predictive variable selection using Stan+R

Juho Piironen, Aki Vehtari|arXiv (Cornell University)|Aug 11, 2015

Advanced Statistical Methods and Models参考文献 11被引用 19

一句话总结

本文提出了一种使用 Stan 进行贝叶斯模型拟合并使用 R 进行线性高斯模型中变量选择的投影预测变量选择的实际实现。结果表明，采用层次收缩先验（如自由度 $ν=3$ 的 horseshoe 先验），该方法仅使用约 5 至 20 个变量即可实现接近全模型的预测性能，同时确保 MCMC 采样稳定且通过交叉验证实现稳健的变量选择。

ABSTRACT

This document is additional material to our previous study comparing several strategies for variable subset selection. Our recommended approach was to fit the full model with all the candidate variables and best possible prior information, and perform the variable selection using the projection predictive framework. Here we give an example of performing such an analysis, using Stan for fitting the model, and R for the variable selection.

研究动机与目标

• 展示一种可扩展、稳健的贝叶斯变量选择工作流程，结合使用 Stan 和 R。
• 通过调整层次收缩先验中自由度 ($ν$) 的方式，解决 NUTS 采样在重尾先验（如 horseshoe 先验）下出现的不稳定性问题。
• 证明投影预测选择能够可靠地识别出能保持全模型预测性能的最小变量子集。
• 提供一个使用 UCI Communities and Crime 数据集的实用、可复现的示例，结合交叉验证与测试集评估。

提出的方法

• 使用 Stan 拟合全线性高斯回归模型，对回归系数采用层次收缩先验（HS-$t_\nu$），对截距、全局尺度 $\tau$ 和噪声方差 $\sigma^2$ 使用弱信息先验。
• 对局部尺度参数 $\lambda_i$ 和全局尺度 $\tau$ 使用半学生-t 先验，设定 $\nu=3$，以减少发散转移，同时保持稀疏性。
• 应用投影预测变量选择：通过最小化子模型与全模型预测分布之间的 Kullback-Leibler 散度，逐次向子模型中添加变量。
• 采用前向搜索启发式方法：在每一步中，选择能使 KL 散度相对于全模型预测分布最小化的变量。
• 通过 10 折交叉验证和测试集评估性能，使用平均对数预测密度（MLPD）和均方误差（MSE）。
• 使用 R 进行后处理、变量排序，并比较子模型与全模型之间的性能表现。

实验结果

研究问题

• RQ1 在 HS-$t_\nu$ 先验中使用中等尾部厚度（$ν=3$）是否能稳定 Stan 中的 MCMC 采样，同时保持 horseshoe 先验的稀疏诱导特性？
• RQ2 投影预测变量选择在仅使用变量子集的情况下，能否有效恢复全模型的预测性能？
• RQ3 达到与全模型不可区分的预测性能所需的最少变量数量是多少？
• RQ4 在变量选择中，经交叉验证的性能估计与测试集性能相比如何？

主要发现

• 在 HS-$t_\nu$ 先验中使用 $\nu=3$ 时，发散转移比例分别降至 0.0%（HS-$t_3$）和 0.1%（HS-$t_3$+），而 $\nu=1$ 时分别为 3.4% 和 5.2%，且未影响预测性能。
• 全模型的预测能力仅需约 5 个变量即可捕获，表现为平均对数预测密度（MLPD）和均方误差（MSE）差异极小。
• 当变量数达到 20 时，子模型的预测性能在实际意义上与全模型无异，MLPD 和 MSE 差异接近于零。
• 交叉验证的性能结果与测试集表现高度一致，验证了交叉验证在该框架中用于模型选择的可靠性。
• 前向搜索启发式方法有效识别出最相关的变量，且在不同交叉验证折次和测试数据中结果一致。