[论文解读] Robust Clustering via Parsimonious Mixtures of Contaminated Gaussian Distributions

Antonio Punzo, Paul D. McNicholas|arXiv (Cornell University)|May 20, 2013

Bayesian Methods and Mixture Models被引用 3

一句话总结

本文提出一种基于模型的聚类方法，采用简约的污染高斯分布混合模型，通过各聚类特有的污染参数显式建模轻微异常值，无需预先指定。该方法结合协方差矩阵的特征分解与期望-条件最大化算法，在模拟数据和真实数据中均表现出优于经典有限混合模型的性能，尤其在存在污染的情况下表现更优。

ABSTRACT

A mixture of multivariate contaminated normal distributions is developed for model-based clustering. In addition to the parameters of the classical normal mixture, our contaminated mixture has, for each cluster, a parameter controlling the proportion of mild outliers and one specifying the degree of contamination. Crucially, these parameters do not have to be specified a priori, adding a flexibility to our approach. Parsimony is introduced via eigen-decomposition of the component covariance matrices, and sufficient conditions for the identifiability of all the members of the resulting family are provided. An expectation-conditional maximization algorithm is outlined for parameter estimation and various implementation issues are discussed. Using a large scale simulation study, the behaviour of the proposed approach is investigated and comparison with well-established finite mixtures is provided. The performance of this novel family of models is also illustrated on artificial and real data.

研究动机与目标

• 开发一种灵活的基于模型的聚类框架，显式处理多元数据中的轻微异常值。
• 允许污染参数（异常值比例和程度）从数据中估计，而非预先指定。
• 通过污染高斯混合族的充分条件确保模型可辨识性。
• 通过将分量协方差矩阵的特征分解与污染建模相结合，提升稳健性与简约性。
• 通过模拟和真实数据对比评估该方法与经典有限混合模型的性能。

提出的方法

• 使用具有独立异常值比例和污染程度参数的多元污染正态分布对每个聚类进行建模。
• 对分量协方差矩阵应用特征分解，以实现简约性并减少过拟合。
• 开发期望-条件最大化（ECM）算法，用于迭代参数估计。
• 推导出混合族中所有分量可辨识性的充分条件，确保模型稳定性。
• 引入灵活的参数化方式，使污染参数可在模型拟合过程中估计。
• 解决高维设置下的收敛性和数值稳定性等实现挑战。

实验结果

研究问题

• RQ1 如何在不依赖污染水平先验知识的前提下，使基于模型的聚类对轻微异常值更具稳健性？
• RQ2 在具有简约协方差结构的污染高斯分布混合模型中，哪些条件可确保其可辨识性？
• RQ3 在存在污染的情况下，所提出的模型与经典有限正态混合模型在聚类准确率方面有何差异？
• RQ4 基于特征分解的简约性在多大程度上提升了模型性能与可解释性？
• RQ5 在真实世界的聚类场景中，该方法能否可靠地从数据中估计污染参数？

主要发现

• 当数据中存在轻微异常值时，所提模型在聚类准确率方面显著优于经典有限正态混合模型。
• 包含可估计的污染参数显著增强了模型稳健性，且无需预先指定异常值水平。
• 建立了可辨识性的充分条件，确保在弱正则性条件下模型参数可被唯一估计。
• 特征分解方法有效降低了模型复杂度，同时保持了聚类性能。
• 模拟研究显示，在各种污染情景下，聚类质量均表现出一致提升。
• 该方法在人工数据和真实数据上均表现优异，证实了其实际应用价值。