[论文解读] The Inverse Gamma-Gamma Prior for Optimal Posterior Contraction and Multiple Hypothesis Testing

Ray Bai, Malay Ghosh|arXiv (Cornell University)|Oct 12, 2017

Statistical Methods and Inference参考文献 8被引用 7

一句话总结

本文提出了逆伽玛-伽玛（IGG）先验，用于在高斯噪声下对稀疏高维均值向量进行贝叶斯估计。通过利用尺度混合正态结构，IGG 实现了近乎极小极大后验收缩，并在 Kullback-Leibler 收敛性方面优于 horseshoe 和 horseshoe+；同时，它还支持一种假设检验方法，该方法在渐近意义上实现了信号分类的最优贝叶斯风险。

ABSTRACT

We study the well-known problem of estimating a sparse $n$-dimensional unknown mean vector $θ= (θ_1, ..., θ_n)$ with entries corrupted by Gaussian white noise. In the Bayesian framework, continuous shrinkage priors which can be expressed as scale-mixture normal densities are popular for obtaining sparse estimates of $θ$. In this article, we introduce a new fully Bayesian scale-mixture prior known as the inverse gamma-gamma (IGG) prior. We prove that the posterior distribution contracts around the true $θ$ at (near) minimax rate under very mild conditions. In the process, we prove that the sufficient conditions for minimax posterior contraction given by Van der Pas et al. (2016) are not necessary for optimal posterior contraction. We further show that the IGG posterior density concentrates at a rate faster than those of the horseshoe or the horseshoe+ in the Kullback-Leibler (K-L) sense. To classify true signals ($θ_i eq 0$), we also propose a hypothesis test based on thresholding the posterior mean. Taking the loss function to be the expected number of misclassified tests, we show that our test procedure asymptotically attains the optimal Bayes risk exactly. We illustrate through simulations and data analysis that the IGG has excellent finite sample performance for both estimation and classification.

研究动机与目标

• 开发一种新型贝叶斯先验，以实现对稀疏高维均值向量的最优后验收缩。
• 在后验集中度和频发性最优性方面，改进现有的收缩先验（如 horseshoe 和 horseshue+）。
• 基于后验均值设计一种假设检验程序，使其渐近地达到多重检验的最优贝叶斯风险。
• 建立后验收缩达到最优的理论条件，即使在 Van der Pas 等人（2016）的先验条件不满足时亦成立。

提出的方法

• 提出逆伽玛-伽玛（IGG）先验作为尺度混合正态分布，其层次结构涉及逆伽玛和伽玛分布。
• 推导 IGG 先验下的后验分布，并利用频发性风险准则建立其收缩性质。
• 使用 Kullback-Leibler 散度比较 IGG 后验与 horseshoe 和 horseshoe+ 的集中速率。
• 基于后验均值的阈值化方法，开发一种多重假设检验程序，以最小化期望误分类损失。
• 通过理论分析表明，所提出的检验方法在渐近意义上可达到最优贝叶斯风险。
• 通过模拟和真实数据分析验证性能，表明其在有限样本下表现出色。

实验结果

研究问题

• RQ1 能否构造一种新型尺度混合先验，使其在弱于现有结果的条件下实现近乎极小极大的后验收缩？
• RQ2 IGG 先验的后验集中速率在 Kullback-Leibler 意义下与 horseshoe 和 horseshoe+ 相比如何？
• RQ3 基于 IGG 后验均值的贝叶斯多重检验程序能否渐近地达到最优贝叶斯风险？
• RQ4 Van der Pas 等人（2016）提出的极小极大后验收缩的充分条件是否必要？或可在更弱假设下实现最优性？

主要发现

• 即使在 Van der Pas 等人（2016）的条件不满足时，IGG 先验在非常温和的正则性条件下仍能实现（近乎）极小极大的后验收缩率。
• IGG 后验在 Kullback-Leibler 散度下的集中速度优于 horseshoe 和 horseshoe+，表明其具有更优的后验集中性。
• 基于后验均值提出的假设检验方法在渐近意义上可达到最优贝叶斯风险，意味着其在极限下精确最小化了误分类检验的期望数量。
• 模拟与数据分析结果表明，IGG 先验在估计与多重假设检验中均表现出优异的有限样本性能。
• 理论框架表明，极小极大后验收缩的充分条件并非必要，从而拓宽了有效收缩先验的构建范围。