[论文解读] Outlier Detection via Parsimonious Mixtures of Contaminated Gaussian Distributions

Antonio Punzo, Paul D. McNicholas|arXiv (Cornell University)|May 20, 2013

Bayesian Methods and Mixture Models被引用 10

一句话总结

本文提出了一种基于异构多元正态分布的简约有限混合模型，用于异常值检测与聚类。通过允许从数据中估计每个簇的异常值比例和污染水平，该模型在经典正态混合模型的基础上提升了稳健性与灵活性，具备理论可辨识性，并采用ECME算法进行参数估计。

ABSTRACT

A mixture of multivariate contaminated normal distributions is developed for model-based clustering. In addition to the parameters of the classical normal mixture, our contaminated mixture has, for each cluster, a parameter controlling the proportion of mild outliers and one specifying the degree of contamination. Crucially, these parameters do not have to be specified a priori, adding a flexibility to our approach. Parsimony is introduced via eigen-decomposition of the component covariance matrices, and sufficient conditions for the identifiability of all the members of the resulting family are provided. An expectation-conditional maximization algorithm is outlined for parameter estimation and various implementation issues are discussed. Using a large scale simulation study, the behaviour of the proposed approach is investigated and comparison with well-established finite mixtures is provided. The performance of this novel family of models is also illustrated on artificial and real data.

研究动机与目标

• 开发一种基于模型的聚类方法，明确考虑多元数据中的轻度异常值。
• 允许从数据中估计每个簇的异常值比例和污染程度，避免任意的先验设定。
• 通过组件参数的充分条件确保模型的可辨识性。
• 通过协方差矩阵的特征分解实现简约性，减少过拟合并提升可解释性。
• 通过模拟和真实数据，将性能与经典有限混合模型进行对比评估。

提出的方法

• 将每个簇建模为多元异构正态分布，由一个中心正态分量与一个重尾污染分量组成混合分布。
• 引入两个簇特定的参数：一个用于污染比例（异常值），一个用于污染分布的尺度。
• 对组件协方差矩阵应用特征分解，通过约束簇的形状与方向来实现简约性。
• 推导出所生成分布族中所有成员可辨识性的充分条件。
• 实施期望-条件最大化（ECME）算法进行参数估计，计算步骤高效。
• 解决实现中的挑战，如初始化、收敛监测以及通过信息准则进行模型选择。

实验结果

研究问题

• RQ1 与经典正态混合模型相比，具有数据驱动异常值参数的有限混合模型是否能在存在轻度异常值的情况下提升聚类性能？
• RQ2 污染参数的引入如何影响模型的可辨识性与参数估计的稳定性？
• RQ3 基于特征分解的简约性在高维设置下在多大程度上提升了模型效率并防止了过拟合？
• RQ4 该模型在具有不同程度污染的真实世界与人工数据集上的表现如何？
• RQ5 与事先指定污染水平的模型相比，该异构混合模型在检测与容纳异常值方面具有何种相对优势？

主要发现

• 所提出的模型在面对轻度异常值时相比经典正态有限混合模型展现出更强的稳健性，尤其在高污染情景下表现更优。
• 引入数据驱动的污染参数可实现更精确的簇分配，并更准确地估计真实潜在结构。
• 建立了可辨识性的充分条件，确保不同的参数值产生不同的混合密度。
• ECME算法在各种模拟设置下均能可靠且高效地收敛，支持实际应用。
• 通过特征分解实现的简约性可减少过拟合，并提升高维数据下的模型选择性能。
• 人工与真实数据集的实证结果证实，该模型具备检测与容纳异常值的能力，同时保持了精确的聚类效果。