[论文解读] Optimal Bayesian estimation of Gaussian mixtures with growing number of components

Ilsang Ohn, Lizhen Lin|arXiv (Cornell University)|Jul 17, 2020

Bayesian Methods and Mixture Models参考文献 45被引用 4

一句话总结

本文提出了一种贝叶斯框架，用于估计具有增长分量数的高斯有限混合模型，通过使用与样本量相关的先验分布，在Wasserstein距离下实现最优后验收缩率。该研究建立了分量估计的理论一致性，并为使用狄利克雷过程混合模型作为具有自适应分量选择的有限混合模型的代理提供了实用方法。

ABSTRACT

We study Bayesian estimation of finite mixture models in a general setup where the number of components is unknown and allowed to grow with the sample size. An assumption on growing number of components is a natural one as the degree of heterogeneity present in the sample can grow and new components can arise as sample size increases, allowing full flexibility in modeling the complexity of data. This however will lead to a high-dimensional model which poses great challenges for estimation. We novelly employ the idea of a sample size dependent prior in a Bayesian model and establish a number of important theoretical results. We first show that under mild conditions on the prior, the posterior distribution concentrates around the true mixing distribution at a near optimal rate with respect to the Wasserstein distance. Under a separation condition on the true mixing distribution, we further show that a better and adaptive convergence rate can be achieved, and the number of components can be consistently estimated. Furthermore, we derive optimal convergence rates for the higher-order mixture models where the number of components diverges arbitrarily fast. In addition, we suggest a simple recipe for using Dirichlet process (DP) mixture prior for estimating the finite mixture models and provide theoretical guarantees. In particular, we provide a novel solution for adopting the number of clusters in a DP mixture model as an estimate of the number of components in a finite mixture model. Simulation study and real data applications are carried out demonstrating the utilities of our method.

研究动机与目标

• 解决在未知分量数且随样本量增长的有限混合模型贝叶斯估计中的空白。
• 在高维、分量数增长的设定下，建立混合分布后验收缩率在Wasserstein距离下的理论结果。
• 在真实混合分布满足分离条件的前提下，实现对真实分量数的自适应且一致的估计。
• 为使用狄利克雷过程混合先验估计有限混合模型中的分量数提供理论基础方法。
• 通过星系和间歇泉喷发数据的模拟与实际数据应用，展示该方法的实用价值。

提出的方法

• 为有限混合模型中的分量数引入一种与样本量相关的先验分布，使分量数量随样本量增长。
• 采用浓度参数随样本量缩放的狄利克雷过程混合（DPM）先验，以确保一致性和自适应性。
• 将DPM模型中分量数的后验分布用作有限混合模型中分量数的代理估计。
• 使用Wasserstein距离衡量后验分布对真实混合分布的收敛性，从而支持非渐近理论分析。
• 在较弱正则性条件下推导后验收缩率，表明在极小化最大风险意义下接近最优。
• 在真实混合分布满足分离条件的前提下，建立分量选择一致性的理论保证。

实验结果

研究问题

• RQ1 当分量数随样本量增长时，有限高斯混合模型的贝叶斯估计能否实现最优后验收缩率？
• RQ2 在分量数增长的贝叶斯框架下，分量数在何种条件下可被一致估计？
• RQ3 如何利用狄利克雷过程混合先验来估计有限混合模型中的分量数？
• RQ4 超参数选择（如浓度参数）对分量数和密度估计的后验推断有何影响？
• RQ5 DPM模型中聚类数的后验分布能否可靠估计有限混合模型的真实分量数？

主要发现

• 在先验的温和条件下，后验分布以接近最优的速率在Wasserstein距离下收缩至真实混合分布。
• 在真实混合分布满足分离条件时，后验实现更快的自适应收敛速率，且分量数被一致估计。
• 混合分布估计的极小化最大收敛速率阶为 $ n^{-1/(4(k^{ullet}-k_0)+2)} $，其中 $ k^{ullet} $ 为真实分量数，$ k_0 $ 为良好分离的分量数。
• 在浓度参数较小的狄利克雷过程混合模型中，聚类数的后验分布集中在真实分量数附近，验证了其作为有限混合估计代理的合理性。
• 星系和间歇泉数据的模拟结果表明，超参数选择（如泊松均值或浓度参数）显著影响后验推断，但该方法仍保持鲁棒性和自适应性。
• 即使分量数以任意快速的速度发散，所提出的方法仍能实现最优收敛速率，展现出强大的理论与实际灵活性。