[论文解读] Non-informative reparameterisations for location-scale mixtures

Kamary, Kaniav, Lee, Jeong Eun+1 more|arXiv (Cornell University)|Jan 6, 2016

Bayesian Methods and Mixture Models参考文献 32被引用 3

一句话总结

本文通过将分量参数表示为混合分布的全局均值和方差，提出了一种用于位置-尺度有限高斯混合模型的新型重参数化方法，使在紧致化参数上使用弱信息均匀先验成为可能。该方法在极小样本量下确保后验分布的合理性，并支持能处理标签切换问题的高效MCMC采样，从而为混合模型建立了一个参考贝叶斯框架。

ABSTRACT

While mixtures of Gaussian distributions have been studied for more than a century (Pearson, 1894), the construction of a reference Bayesian analysis of those models still remains unsolved, with a general prohibition of the usage of improper priors (Fr\\"uwirth-Schnatter, 2006) due to the ill-posed nature of such statistical objects. This difficulty is usually bypassed by an empirical Bayes resolution (Richardson and Green, 1997). By creating a new parameterisation cantered on the mean and variance of the mixture distribution itself, we are able to develop here a genuine non-informative prior for Gaussian mixtures with an arbitrary number of components. We demonstrate that the posterior distribution associated with this prior is almost surely proper and provide MCMC implementations that exhibit the expected exchangeability. While we only study here the Gaussian case, extension to other classes of location-scale mixtures is straightforward.

研究动机与目标

• 解决有限位置-尺度混合模型中构建参考贝叶斯先验这一长期挑战，此类模型通常在非信息先验下出现后验不合理的现象。
• 通过相对于混合分布全局参数重参数化分量，克服混合模型固有的可识别性与标签切换问题。
• 建立一个系统性的弱信息先验框架，确保在最小样本量下后验分布的合理性，避免依赖数据的超参数或不合理的先验。
• 通过紧致化重参数化实现稳健的MCMC推断，促进在变换参数上使用均匀且合理的先验。
• 通过推导在重参数化下不变且支持基于模拟的推断的参考先验，为混合模型的客观贝叶斯分析奠定基础。

提出的方法

• 将每个分量的位置和尺度参数表示为相对于混合分布全局均值和方差的偏离量。
• 利用相对于全局均值和方差的类似极坐标系的坐标，将分量参数映射到紧致参数空间，确保参数有界。
• 在紧致化参数（如相对位置和尺度偏离量）上应用均匀先验，从而在原始参数上诱导出弱信息先验。
• 从原始位置-尺度参数上的Jeffreys先验出发，通过新重参数化变换推导联合先验，以保证不变性与合理性。
• 采用Metropolis-within-Gibbs采样实现MCMC算法，并在后处理中通过参数空间上的k-means聚类进行重标记，以解决标签切换问题。
• 使用Ultimixt R包验证该方法，展示了在高斯、泊松和指数混合模型中均具有收敛性与准确估计。

实验结果

研究问题

• RQ1 能否为有限位置-尺度混合模型构造一种非信息先验，使其在不依赖数据相关超参数的情况下确保后验合理性？
• RQ2 如何通过重参数化将无界的混合参数转换为紧致空间，以支持均匀先验与弱信息推断？
• RQ3 所提出的重参数化在多大程度上缓解了MCMC采样中混合模型的标签切换问题？
• RQ4 在最小样本量下，所得后验分布是否仍保持合理性？能否使用标准MCMC方法可靠地进行模拟？
• RQ5 该框架能否扩展至非高斯位置-尺度分布族（如泊松与指数混合模型），同时保持后验合理性与模拟效率？

主要发现

• 以全局均值和方差表示分量参数的重参数化，将参数空间转化为紧致集合，从而允许在变换参数上使用均匀先验。
• 基于原始位置-尺度参数上Jeffreys先验的弱信息先验，即使在原始先验导致后验不合理的前提下，也能在最小样本量下产生合理的后验分布。
• 采用新参数化的MCMC采样成功处理了标签切换问题，表现为通过k-means聚类进行后处理重标记后，估计值接近真实值。
• 对于高斯混合模型，该方法恢复了组织成分（如59%肌肉、33%脂肪），与先前研究结果一致，其中最大分量（34%）对应主要关注量。
• 在泊松混合模型示例中，随着样本量增加，MCMC对分量均值和权重的估计收敛于真实值，50,000次模拟得到的经验密度与真实参数高度匹配。
• Ultimixt R包成功实现了该方法，在多种分布（包括负二项分布等复合扩展分布）中均表现出稳定收敛与可靠推断。