[论文解读] Neuronized Priors for Bayesian Sparse Linear Regression

Minsuk Shin, Jun S. Liu|arXiv (Cornell University)|Sep 29, 2018

Gaussian Processes and Bayesian Inference参考文献 75被引用 6

一句话总结

本文提出神经化先验——一种新颖的框架，通过将系数建模为高斯权重与经激活函数变换的尺度变量的乘积，统一并扩展了贝叶斯稀疏线性回归中的收缩先验。该方法在无需潜变量指示器的情况下实现了高效且灵活的MCMC采样，实现了最优后验收缩，并在收敛速度上优于标准的spike-and-slab和收缩先验。实证验证表明，其预测和变量选择性能与现有方法相当或更优。

ABSTRACT

Although Bayesian variable selection methods have been intensively studied, their routine use in practice has not caught up with their non-Bayesian counterparts such as Lasso, likely due to difficulties in both computations and flexibilities of prior choices. To ease these challenges, we propose the neuronized priors to unify and extend some popular shrinkage priors, such as Laplace, Cauchy, horseshoe, and spike-and-slab priors. A neuronized prior can be written as the product of a Gaussian weight variable and a scale variable transformed from Gaussian via an activation function. Compared with classic spike-and-slab priors, the neuronized priors achieve the same explicit variable selection without employing any latent indicator variables, which results in both more efficient and flexible posterior sampling and more effective posterior modal estimation. Theoretically, we provide specific conditions on the neuronized formulation to achieve the optimal posterior contraction rate, and show that a broadly applicable MCMC algorithm achieves an exponentially fast convergence rate under the neuronized formulation. We also examine various simulated and real data examples and demonstrate that using the neuronization representation is computationally more or comparably efficient than its standard counterpart in all well-known cases. An R package NPrior is provided for using neuronized priors in Bayesian linear regression.

研究动机与目标

• 解决现有贝叶斯变量选择方法（尤其是spike-and-slab和收缩先验）在高维设置下的计算低效与灵活性不足问题。
• 通过使用激活函数对spike-and-slab先验中的潜变量指示器进行连续可微变换，克服其带来的挑战。
• 构建一个统一框架，将拉普拉斯、柯西、 horseshoe 和 spike-and-slab 等流行先验统一于单一神经化形式之下。
• 通过推导神经化先验实现极小化后验收缩率的理论条件，确保理论最优性。
• 通过连续参数化实现可扩展的高效MCMC推断，避免使用可逆跳跃MCMC，提升收敛速度。

提出的方法

• 将神经化先界定义为 $\theta_j = \nu_w \cdot \tau_j$，其中 $\nu_w \sim \pi_g$，$\tau_j \sim \pi_\tau$，且尺度 $\tau_j$ 通过作用于高斯潜变量的激活函数 $\phi(\cdot)$ 进行变换。
• 使用激活函数（如ReLU、Sigmoid、softplus）将标准正态变量映射为尺度参数，实现灵活且非共轭的先验构造。
• 构建层次先验模型：$\theta_j \mid \nu_w^2, \tau_j^2 \sim N(0, \nu_w^2 \tau_j^2)$，其中 $\tau_j = \phi(z_j)$，$z_j \sim N(0,1)$，且 $\nu_w \sim \pi_g$。
• 采用哈密顿蒙特卡洛（HMC）算法在连续无约束参数 $\nu_w$、$z_j$ 和 $\sigma^2$ 上进行MCMC采样，避免使用离散潜变量指示器。
• 推导出神经化先验实现最优后验收缩率的理论条件，确保频派最优性。
• 开发R包 NPrior，支持在大规模贝叶斯线性回归中使用神经化先验，兼容连续与离散的spike-and-slab形式。

实验结果

研究问题

• RQ1 能否构建一个统一框架，以推广贝叶斯稀疏线性回归中流行的收缩与spike-and-slab先验？
• RQ2 将spike-and-slab先验中的潜二值指示器替换为连续可微的激活函数，是否能提升MCMC效率与后验采样速度？
• RQ3 在高维设置下，神经化先验在何种条件下可实现极小化最优后验收缩率？
• RQ4 在真实与模拟数据中，神经化先验的计算效率与标准spike-and-slab及收缩先验相比如何？
• RQ5 该神经化框架能否扩展至非线性模型（如逻辑回归），其中通常缺乏共轭性？

主要发现

• 在激活函数与先验分布满足特定条件时，神经化先验形式可实现极小化最优后验收缩率。
• 所提出的MCMC算法在神经化框架下实现了指数级快速收敛速度，在混合效率与收敛速度上优于标准方法。
• 在波士顿房价与巴德-比德尔综合征数据集中，神经化先验（如N-SpSL-C(RW)）在相同时间内比标准spike-and-slab方法实现了50%更高的有效样本量（ESS）。
• 在巴德-比德尔综合征数据集中，N-SpSL(MAP)实现了最小的样本外均方预测误差（MSPE），甚至优于标准spike-and-slab先验。
• 神经化horseshoe先验（N-SpSL-C(RW)）在计算效率上显著优于标准horseshoe先验，无论在模拟数据还是真实数据中均表现出更快收敛与更高ESS。
• R包 NPrior 已在CRAN上线，使研究人员能够轻松在各类收缩与变量选择模型中实现神经化先验。