[论文解读] On Estimation of Parameter Uncertainty in Model-Based Clustering

Adrian O’Hagan, Thomas Brendan Murphy+1 more|arXiv (Cornell University)|Oct 2, 2015

Bayesian Methods and Mixture Models被引用 4

一句话总结

本文评估了自助法（bootstrap）、加权似然自助法（weighted likelihood bootstrap, WLB）和刀切法（jackknife）在基于模型的聚类中使用混合模型估计标准误和置信区间的性能。通过模拟实验和老忠实间歇泉数据集的分析表明，这些重采样技术能够提供可靠的不确定性量化，填补了标准模型拟合实践中通常忽略参数变异性的关键空白。

ABSTRACT

Mixture models are a popular tool in model-based clustering. Such a model is often fitted by a procedure that maximizes the likelihood, such as the EM algorithm. At convergence, the maximum likelihood parameter estimates are typically reported, but in most cases little emphasis is placed on the variability associated with these estimates. In part this may be due to the fact that standard errors are not directly calculated in the model-fitting algorithm, either because they are not required to fit the model, or because they are difficult to compute. The examination of standard errors in model-based clustering is therefore typically neglected. The widely used R package mclust has recently introduced bootstrap and weighted likelihood bootstrap methods to facilitate standard error estimation. This paper provides an empirical comparison of these methods (along with the jackknife method) for producing standard errors and confidence intervals for mixture parameters. These methods are illustrated and contrasted in both a simulation study and in the traditional Old Faithful data set.

研究动机与目标

• 为解决基于模型聚类中对参数不确定性的忽视问题，即仅报告最大似然估计而未提供标准误。
• 评估自助法、加权似然自助法（WLB）和刀切法在估计混合模型参数标准误方面的性能。
• 为这些重采样技术在模拟和现实聚类场景中的可靠性和准确性提供实证证据。
• 通过R包mclust演示这些方法的实际应用，该包现已支持这些技术。

提出的方法

• 使用EM算法拟合有限正态混合模型，以获得最大似然估计作为基准。
• 应用三种重采样技术——非参数自助法、加权似然自助法（WLB）和删除一组（delete-a-group）刀切法——来估计混合参数的标准误。
• 利用delta方法和渐近理论验证基于重采样的标准误，并在可行时与解析近似值进行比较。
• 将这些方法应用于经典的“老忠实”间歇泉喷发数据集以及具有已知参数值的模拟数据，以评估覆盖率和精确度。
• 基于重采样估计的分位数构建置信区间，并评估其覆盖率。

实验结果

研究问题

• RQ1 在基于模型聚类的混合模型参数中，自助法、WLB和刀切法在估计标准误方面如何比较？
• RQ2 这些重采样方法在有限样本中构建的置信区间的覆盖率表现如何？
• RQ3 在真实数据（如老忠实数据集）上，这些方法的表现与理论预期相比如何？
• RQ4 在难以计算解析标准误的情况下，这些重采样技术能否可靠地量化参数不确定性？

主要发现

• 自助法和WLB方法在模拟实验和老忠实数据集中对混合参数的标准误估计结果相似，并表现出良好的覆盖率。
• 刀切法在标准误估计中表现出略高的变异性，但仍是一种可行的替代方法，尤其适用于小样本。
• 所有三种重采样方法提供的不确定性估计均显著优于仅依赖最大似然估计而无误差评估的方法。
• WLB方法在计算上高效，特别适用于似然函数复杂或高维的基于模型聚类场景。