[论文解读] On convergence rates of Bayesian predictive densities and posterior distributions

Ryan Martin, Liang Hong|arXiv (Cornell University)|Sep 29, 2012

Bayesian Methods and Mixture Models参考文献 10被引用 5

一句话总结

本文提出一个统一框架，用于分析在多种数据模型（iambic、误设模型、非独立同分布、依赖性模型）下贝叶斯后验分布和预测密度的收敛速率，以预测密度为核心分析工具。通过聚焦于局部先验厚度和分离性特征，该框架在模型结构或混合行为方面施加最少的假设，从而在更弱的条件下建立了更精确、更通用的后验集中性保证。

ABSTRACT

Frequentist-style large-sample properties of Bayesian posterior distributions, such as consistency and convergence rates, are important considerations in nonparametric problems. In this paper we give an analysis of Bayesian asymptotics based primarily on predictive densities. Our analysis is unified in the sense that essentially the same approach can be taken to develop convergence rate results in iid, mis-specified iid, independent non-iid, and dependent data cases.

研究动机与目标

• 统一分析在多种统计模型（包括独立同分布、误设、独立非独立同分布、依赖性马尔可夫过程）中后验分布与预测密度收敛速率的框架。
• 通过以预测密度和局部先验厚度为中心，减少对强熵或覆盖条件的依赖。
• 证明在依赖性或复杂模型中，预测密度的收敛性可在比完整后验集中更弱的假设下实现。
• 提出一种基于分离性的新引理，用于控制远离真实密度的集合的后验概率，适用于多种数据依赖结构。
• 表明在仅需最小正则性条件时，预测密度的收敛速率可达到极小极大最优速率，即使后验收敛需要更强的混合或矩假设。

提出的方法

• 以预测密度为主要分析对象，利用其在各类损失函数下的贝叶斯估计角色。
• 受Choi与Ramamoorthi（2008）启发，提出一种基于分离性的引理，利用Hellinger距离与Kullback–Leibler距离，控制远离真实密度的集合的后验概率。
• 在真实密度处引入先验的局部厚度条件，通过边际似然比 $ R_n(f) = rac{\text{like}(f)}{\text{like}(f^\bullet)} $ 定义，确保先验质量在真实值附近足够集中。
• 采用覆盖论证，结合最大Hellinger距离与平均Hellinger距离，控制参数空间的熵与度量熵。
• 改编Ghosal等人（2000）的筛法+覆盖方法，并与Walker等人（2007）的先验可求和条件进行比较，表明前者条件更弱。
• 通过KL散度的矩条件与一阶矩控制，将结果推广至依赖性数据，避免强混合假设。

实验结果

研究问题

• RQ1 能否发展一种单一、统一的方法，用于分析在多种数据模型下贝叶斯后验分布与预测密度的收敛速率？
• RQ2 在比完整后验集中所需条件更弱的假设下，预测密度的收敛性能在多大程度上得到保证？
• RQ3 参数集的局部先验厚度与分离性特征在多大程度上影响后验分布在真实密度附近的集中速率？
• RQ4 在依赖性或误设模型中，能否在不依赖强混合或似然函数高阶矩假设的前提下，建立预测密度收敛性？
• RQ5 筛法覆盖条件与后验集中理论中的先验可求和条件之间存在何种关系？

主要发现

• 本文在标准后验收敛定理所需条件更弱的前提下，为四种数据模型（独立同分布、误设独立同分布、独立非独立同分布、依赖性马尔可夫过程）建立了Cesaro风格的预测密度收敛速率结果。
• 提出了一种新颖的基于分离性的引理，可统一控制四种数据模型中远离真实密度的集合的后验概率。
• 证明Ghosal等人（2000）的筛法+覆盖条件弱于Walker等人（2007）的先验可求和条件，表明在先验设计上具有更大的灵活性。
• 在样条先验下的非参数回归中，预测密度以极小极大速率 $ n^{-\frac{\beta}{2\beta+1}} $ 收敛，且仅需局部先验厚度与温和光滑性假设。
• 在依赖性数据模型中，预测密度收敛性在仅需一阶KL控制、无需其他混合或矩条件的前提下得以建立，而传统后验收敛结果则需更强假设。
• 分析表明，对于预测密度收敛性，无需模型熵或全局覆盖条件——仅需局部先验厚度与分离性，这可能导致更弱、更实际的先验约束。