[论文解读] On the Hyperprior Choice for the Global Shrinkage Parameter in the Horseshoe Prior

Juho Piironen, Aki Vehtari|arXiv (Cornell University)|Oct 18, 2016

Statistical Methods and Inference被引用 65

一句话总结

本文提出了一套系统的方法，通过将全局收缩参数 τ 的超先验与有效非零系数数量（m_eff）的先验信念联系起来，来选择 horseshoe 先验中 τ 的超先验。研究表明，默认的超先验可能高估稀疏性，因此本文建议基于对相关变量数量的粗略估计（p₀）来推导 τ 的先验，从而提升估计精度、预测性能和计算效率，尤其在数据对 τ 的识别能力较弱时效果更显著。

ABSTRACT

The horseshoe prior has proven to be a noteworthy alternative for sparse Bayesian estimation, but as shown in this paper, the results can be sensitive to the prior choice for the global shrinkage hyperparameter. We argue that the previous default choices are dubious due to their tendency to favor solutions with more unshrunk coefficients than we typically expect a priori. This can lead to bad results if this parameter is not strongly identified by data. We derive the relationship between the global parameter and the effective number of nonzeros in the coefficient vector, and show an easy and intuitive way of setting up the prior for the global parameter based on our prior beliefs about the number of nonzero coefficients in the model. The results on real world data show that one can benefit greatly -- in terms of improved parameter estimates, prediction accuracy, and reduced computation time -- from transforming even a crude guess for the number of nonzero coefficients into the prior for the global parameter using our framework.

研究动机与目标

• 解决 horseshoe 后验推断对全局收缩参数 τ 的超先验选择的敏感性问题。
• 证明 τ 的默认超先验（例如尺度为 1 的半 Cauchy 分布）通常倾向于选择比先验预期更多的未收缩系数。
• 建立 τ 与系数向量中有效非零系数数量（m_eff）之间的直接解析关系。
• 提供一种实用且直观的方法，基于对相关变量数量（p₀）的先验信念，构建 τ 的先验。
• 通过实证结果表明，即使对 p₀ 的估计较为粗略，只要通过所提出的框架进行转换，也能显著提升模型性能和计算速度。

提出的方法

• 推导全局收缩参数 τ 与有效非零系数数量（m_eff）之间的解析关系，其中 m_eff 定义为未被收缩至零的系数的期望数量。
• 通过公式 (16) 将对相关变量数量的先验猜测 p₀ 转换为超先验尺度 τ₀，使得 E[m_eff] ≈ p₀。
• 对 τ|σ 使用半 Cauchy 或半正态先验，并通过 p₀ 推导出的 τ₀ 来编码对稀疏性的先验信念。
• 将该框架应用于真实世界的回归和分类数据集，比较不同 τ 超先验下的性能表现。
• 使用后验预测检查、均方误差（MSE）和计算时间（墙钟时间）来评估模型性能。
• 推荐使用通过公式 (16) 从 p₀ 计算出 τ₀ 的半 Cauchy 先验作为 τ|σ 的先验，尤其在 τ 被数据弱识别时更优。

实验结果

研究问题

• RQ1 全局收缩参数 τ 的超先验选择如何影响 horseshoe 先验中的后验推断？
• RQ2 τ 与系数向量中有效非零系数数量（m_eff）之间存在何种解析关系？
• RQ3 为何 τ 的默认超先验（如尺度为 1 的半 Cauchy 分布）在稀疏性先验信念方面存在问题？
• RQ4 能否将对相关变量数量的粗略先验猜测（p₀）有效转换为对 τ 的更优信息先验，从而提升模型性能？
• RQ5 与 LASSO 和默认 horseshoe 先验相比，所提出方法在预测精度、参数估计和计算效率方面表现如何？

主要发现

• 默认的 τ 超先验（如尺度为 1 的半 Cauchy 分布）倾向于选择比通常先验预期更多的未收缩系数，当 τ 被数据弱识别时，易导致过拟合。
• 所提出的框架将 τ 的先验与期望的有效非零系数数量（m_eff）联系起来，使得基于 p₀ 的 τ 超先验可实现系统化设定。
• 即使使用对 p₀ 的粗略估计，通过公式 (16) 确定 τ₀ 也能在多个真实世界数据集中显著提升预测精度并减少计算时间。
• 当 p₀ 较小时，τ|σ 的半 Cauchy 先验优于半正态先验，因其重尾特性允许更大的 τ 值；但若 p₀ 与真实值相差过大，两者均可能失效。
• 在分类问题中，τ 超先验中使用 σ=2 可获得与回归情况近似相当的结果，从而实现跨模型的一致应用。
• 与 LASSO 相比，采用所提出 τ 超先验的 horseshoe 在预测精度和参数估计方面始终表现更优，尽管 LASSO 在计算时间上仍显著更快。