[论文解读] On the Use of Cauchy Prior Distributions for Bayesian Logistic Regression

Joyee Ghosh, Yingbo Li+1 more|arXiv (Cornell University)|Jul 26, 2015

Statistical Methods and Bayesian Inference被引用 5

一句话总结

本文研究了在分离情形下贝叶斯逻辑回归中使用独立柯西先验的后果，证明由于重尾特性，回归系数的后验均值可能不存在。尽管Gelman等人建议将柯西先验作为默认选择，但作者表明在完全分离情况下后验均值会发散，且吉布斯采样表现出极差的混合性，这表明应优先选择尾部更轻的先验，如正态分布或自由度大于1的t分布，以实现更稳定的推断。

ABSTRACT

In logistic regression, separation occurs when a linear combination of the predictors can perfectly classify part or all of the observations in the sample, and as a result, finite maximum likelihood estimates of the regression coefficients do not exist. Gelman et al. (2008) recommended independent Cauchy distributions as default priors for the regression coefficients in logistic regression, even in the case of separation, and reported posterior modes in their analyses. As the mean does not exist for the Cauchy prior, a natural question is whether the posterior means of the regression coefficients exist under separation. We prove theorems that provide necessary and sufficient conditions for the existence of posterior means under independent Cauchy priors for the logit link and a general family of link functions, including the probit link. We also study the existence of posterior means under multivariate Cauchy priors. For full Bayesian inference, we develop a Gibbs sampler based on Polya-Gamma data augmentation to sample from the posterior distribution under independent Student-t priors including Cauchy priors, and provide a companion R package in the supplement. We demonstrate empirically that even when the posterior means of the regression coefficients exist under separation, the magnitude of the posterior samples for Cauchy priors may be unusually large, and the corresponding Gibbs sampler shows extremely slow mixing. While alternative algorithms such as the No-U-Turn Sampler in Stan can greatly improve mixing, in order to resolve the issue of extremely heavy tailed posteriors for Cauchy priors under separation, one would need to consider lighter tailed priors such as normal priors or Student-t priors with degrees of freedom larger than one.

研究动机与目标

• 研究在发生分离时，贝叶斯逻辑回归中使用独立柯西先验的后验均值的理论性质。
• 确定在存在分离的情况下，特别是采用柯西先验时，回归系数的后验均值是否存在。
• 评估在分离数据设置下，使用柯西先验时MCMC采样（特别是吉布斯采样）的性能。
• 比较柯西先验与尾部更轻的替代先验（如正态分布或自由度大于1的t分布）的行为差异。
• 为贝叶斯逻辑回归中的先验选择提供建议，以避免在分离情形下出现不稳定的后验推断。

提出的方法

• 使用测度论论证和变量变换技术，对独立柯西先验下后验均值的存在性进行理论分析。
• 通过缩放方向参数化方法，推导多元柯西先验下回归系数的联合先验密度。
• 应用波利亚-伽马数据增广方法，以实现在学生t先验（包括柯西先验）下从后验分布进行吉布斯采样。
• 在分离锥内构造一个紧致的矩形子集，以界定被积函数并建立后验矩的发散性。
• 利用不等式和渐近分析，证明在完全分离情况下，后验均值的积分发散至无穷大。
• 在R包中实现吉布斯采样器（补充材料），用于在学生t先验（包括柯西先验）下进行后验抽样。

实验结果

研究问题

• RQ1 在逻辑回归中发生分离时，使用独立柯西先验的回归系数后验均值在何种条件下存在？
• RQ2 当发生分离时，系数的后验均值是否会发散至正无穷或负无穷？
• RQ3 在分离数据设置下，柯西先验与尾部更轻的先验相比，吉布斯采样的性能如何？
• RQ4 波利亚-伽马数据增广方法是否能实现柯西先验下逻辑回归的高效后验抽样？
• RQ5 当存在分离时，使用柯西先验对完整贝叶斯推断有何影响？

主要发现

• 在完全分离发生时，使用独立柯西先验的回归系数后验均值不存在。
• 通过在分离锥的紧致子集内证明积分发散，表明与分离方向相关的系数的后验均值发散至无穷大。
• 即使后验均值存在，柯西先验下的后验样本幅度也可能异常大，这是由于其重尾特性所致。
• 在柯西先验下，吉布斯采样表现出极慢的混合性，表明在分离数据中马尔可夫链收敛性极差。
• 如Stan中的No-U-Turn采样器等替代算法可改善混合性，但无法解决后验分布重尾的根本问题。
• 建议采用尾部更轻的先验，如正态分布或自由度大于1的学生t分布，以避免在分离情形下后验推断的不稳定性。