[论文解读] Parsimonious mixtures of contaminated Gaussian distributions with application to allometric studies

Antonio Punzo, Paul D. McNicholas|arXiv (Cornell University)|May 20, 2013

Bayesian Methods and Mixture Models被引用 3

一句话总结

本文提出了一种基于污染高斯分布的简约有限混合模型，用于鲁棒的基于模型的聚类，能够自动估计异常值比例和污染程度，而无需事先指定。该方法通过特征值分解实现协方差结构的简约化，在所有ometric研究和模拟中表现出色，优于标准椭球混合模型。

ABSTRACT

A mixture of contaminated Gaussian distributions is developed for model-based clustering. In addition to the parameters of the classical Gaussian mixture, each component of our contaminated mixture has a parameter controlling the proportion of outliers, spurious points, or noise (collectively referred to as bad points herein) and one specifying the degree of contamination. Crucially, these parameters do not have to be specified a priori, adding a flexibility to our approach. Parsimony is introduced via eigen-decomposition of the component covariance matrices, and sufficient conditions for the identifiability of all the members of the resulting family are provided. An expectation-conditional maximization algorithm is outlined for parameter estimation and various implementation issues are discussed. Using a large scale simulation study, we investigate the behavior of the proposed approach and we provide a comparison with finite mixture models of some well-established multivariate elliptical distributions. The performance of this novel family of models is also illustrated on artificial and real data, with particular emphasis to the application in allometric studies.

研究动机与目标

• 开发一种灵活的有限混合模型，明确考虑聚类应用中的异常值和噪声数据。
• 实现污染参数（异常值比例和程度）的自动估计，而无需事先指定。
• 通过组件参数的充分条件确保模型的可识别性。
• 将该模型应用于所有ometric研究，其中数据通常包含测量误差和极端值。
• 通过模拟和真实数据，将性能与既有的多元椭球混合模型进行比较。

提出的方法

• 该模型通过增加两个与分量相关的参数，扩展了经典的高斯有限混合模型：一个用于坏点（异常值/噪声）的比例，另一个用于污染程度。
• 通过分量协方差矩阵的特征值分解实现简约化，减少自由参数数量。
• 使用期望-条件最大化（ECM）算法进行参数估计，实现对似然函数的迭代优化。
• 正式推导并提供了混合族中所有分量可识别性的充分条件。
• 在高维设置下，实现时注重数值稳定性和收敛性。
• 使用基于似然的准则评估模型拟合效果，并与标准椭球混合模型进行比较。

实验结果

研究问题

• RQ1 如何在不依赖污染程度先验知识的情况下，使有限混合模型对异常值和噪声具有鲁棒性？
• RQ2 在具有简约协方差结构的污染高斯混合模型中，何种条件可确保各分量的可识别性？
• RQ3 当数据包含异常值或测量误差时，该模型在聚类任务中的表现如何，特别是在所有ometric研究中？
• RQ4 在模拟和真实数据场景下，污染高斯混合模型的性能与标准椭球混合模型相比如何？
• RQ5 污染参数的自动估计是否能在实际中提升聚类的准确性和鲁棒性？

主要发现

• 所提出的污染高斯混合模型成功实现了对坏点比例和污染程度的自动估计，而无需事先指定。
• 采用特征值分解可在保持模型灵活性和可解释性的同时，实现协方差矩阵的简约建模。
• 建立了混合族中所有分量可识别性的充分条件，确保了统计有效性。
• 模拟结果表明，该模型在存在污染和异常值的情况下，优于标准的有限椭球分布混合模型。
• 在真实的所有ometric数据上，该模型表现出强大的实证性能，能有效处理测量误差和极端观测值。
• ECM算法收敛可靠，可在多种数据配置下提供稳定的参数估计。