[论文解读] Posterior Concentration Properties of a General Class of Shrinkage Priors around Nearly Black Vectors

Prasenjit Ghosh, Arijit Chakrabarti|arXiv (Cornell University)|Dec 28, 2014

Seismic and Structural Analysis of Tall Buildings参考文献 3被引用 8

一句话总结

该论文为一类广义的连续收缩先验（如 horseshoe、广义双帕累托分布以及三参数 beta-正态混合分布）在估计高维稀疏均值向量时建立了后验集中性质。在频率学派框架下，证明了这些先验在接近黑向量（nearly black vectors）附近实现了极小极大最优的后验收缩率，并提供了后验集中性和后验方差下界的理论保证。

ABSTRACT

Suppose we have data generated according to a multivariate normal distribution with a fixed unknown mean vector that is sparse in the sense of being nearly black. Optimality of Bayes estimates and posterior concentration properties in terms of the minimax risk in the $l_2$ norm corresponding to a very general class of continuous shrinkage priors are studied in this work. The class of priors considered is rich enough to include a great variety of heavy tailed prior distributions, such as, the three parameter beta normal mixtures (including the horseshoe), the generalized double Pareto, the inverse gamma and the normal-exponential-gamma priors. Assuming that the number of non-zero components of the mean vector is known, we show that the Bayes estimators corresponding to this general class of priors attain the minimax risk in the $l_2$ norm (possibly up to a multiplicative constant) and the corresponding posterior distributions contract around the true mean vector at the minimax optimal rate for appropriate choice of the global shrinkage parameter. Moreover, we provide conditions for which these posterior distributions contract around the corresponding Bayes estimates at least as fast as the minimax risk in the $l_2$ norm. We also provide a lower bound to the total posterior variance for an important subclass of this general class of shrinkage priors that includes the generalized double Pareto priors with shape parameter $α=0.5$ and the three parameter beta normal mixtures with parameters $a=0.5$ and $b>0$ (including the horseshoe) in particular. The present work is inspired by the recent work of van der Pas et al. (2014) on the posterior contraction properties of the horseshoe prior under the present set-up. We extend their results for this general class of priors and come up with novel unifying proofs which work for a very broad class of one-group continuous shrinkage priors.

研究动机与目标

• 研究一类广义连续收缩先验在高维稀疏均值估计中的后验集中性质。
• 将 van der Pas 等人（2014）关于 horseshoe 先验的结果扩展到更广泛的单组收缩先验类。
• 在 $ l_2 $ 损失下建立贝叶斯估计的极小极大最优后验收缩率。
• 推导全局收缩参数的条件，以确保后验相对于极小极大风险实现快速收缩。
• 为包括 horseshoe 和广义双帕累托分布（$ \alpha = 1 $）在内的先验子类提供总后验方差的下界。

提出的方法

• 作者考虑一类广义的单组连续收缩先验，其表达为具有全局与局部收缩参数的正态尺度混合分布。
• 在固定但未知的高维均值的频率学派设定下，分析后验在真实稀疏均值向量附近的集中性。
• 分析依赖于拉普拉斯近似以及涉及混合密度 $ L(t) $ 的积分的渐近界，尤其关注大 $ n $ 的情形。
• 关键技术工具包括变量替换和基于混合密度 $ L(t) $ 性质（如单调性与有界性）的积分界。
• 证明方法借鉴并推广了 van der Pas 等人（2014）对 horseshoe 先验的论证，适用于更广泛的先验类。
• 通过分析涉及 $ I_{1/2}, I_{3/2}, I_{5/2} $ 的积分比值，推导出后验方差的上下界，其中这些量代表后验密度的矩。

实验结果

研究问题

• RQ1 广义连续收缩先验是否在高维稀疏均值估计中实现极小极大最优的后验收缩率？
• RQ2 全局收缩参数需满足何种条件，才能使后验以极小极大速率收缩至真实均值？
• RQ3 对于 horseshoe 和广义双帕累托分布等重要子类的收缩先验，后验方差行为如何？
• RQ4 用于 horseshoe 先验的理论框架能否推广至具有类似集中性质的更广泛单组先验类？
• RQ5 对于包含 horseshoe 和广义双帕累托分布（$ \alpha = 1 $）的先验子类，总后验方差的下界是什么？

主要发现

• 当非零分量数量已知时，该类收缩先验下的贝叶斯估计在 $ l_2 $ 损失下达到极小极大风险（至多一个常数因子）。
• 对于适当的全局收缩参数选择（取决于稀疏度水平），后验分布在真实均值向量附近以极小极大最优速率收缩。
• 对于包含 horseshoe 和广义双帕累托分布（$ \alpha = 1 $）的子类，推导出总后验方差的下界，表明即使在渐近情形下仍存在不可忽略的不确定性。
• 后验方差的下界由与 $ \tau \cdot \left( e^{\tau^2 y} \left( \frac{1}{\tau} - \frac{1}{\sqrt{\tau}} \right) \right) $ 成比例的项决定，反映出估计中持续存在的变异性。
• 结果将 van der Pas 等人（2014）的框架推广至更广泛的先验类，包括三参数 beta-正态混合分布、广义双帕累托分布以及正态-指数-伽马先验。
• 证明技术具有统一性，适用于整个类，表明相同的分析策略可一致应用于广泛使用的重尾先验，这些先验常用于稀疏高维问题。