[论文解读] Robust High-Dimensional Modeling with the Contaminated Gaussian Distribution

Antonio Punzo, Paul D. McNicholas|arXiv (Cornell University)|Aug 9, 2014

Bayesian Methods and Mixture Models参考文献 63被引用 5

一句话总结

本文提出了一种基于污染高斯分布的鲁棒高维因子分析与混合模型，可实现自动异常点检测，并通过受控参数化的潜在因子建模来处理高维数据（p ≫ n）。该方法在t分布之外进一步提升了鲁棒性，通过识别异常点来保持统计效率。

ABSTRACT

The contaminated Gaussian distribution represents a simple robust elliptical generalization of the Gaussian distribution; differently from the often-considered $t$-distribution, it also allows for automatic detection of outliers, spurious points, or noise (collectively referred to as bad points herein). Starting from this distribution, we propose the contaminated Gaussian factor analysis model as a method for robust data reduction and detection of bad points in high-dimensions. A mixture of contaminated Gaussian factor analyzers model follows therefrom, and extends the recently proposed mixtures of contaminated Gaussian distributions to high-dimensional data, i.e., where $p$ (number of dimensions) is large relative to $n$ (sample size). The number of free parameters is controlled through the dimension of the latent factor space. For each discussed model, we outline a variant of the classical expectation-maximization algorithm for parameter estimation. Various implementation issues are discussed, and we use real data for illustration.

研究动机与目标

• 开发一种传统因子分析的鲁棒替代方法，以处理含有异常值的高维数据。
• 实现在高维数据集中自动检测异常点（异常值、噪声或虚假观测）。
• 将污染高斯分布扩展至因子分析与有限混合模型，以提升高维环境下的鲁棒性。
• 通过低维潜在因子空间控制模型复杂度，尤其在p（维度）远大于n（样本量）时。
• 通过改进的EM算法提供计算上可行的参数推断框架。

提出的方法

• 提出污染高斯因子分析模型，将污染高斯分布扩展至因子模型框架，用于高维数据降维。
• 利用潜在因子结构实现降维，同时通过混合成分对异常点进行建模。
• 构建污染高斯因子分析混合模型，以处理高维环境下的异质数据结构。
• 应用期望最大化（EM）算法的变体来估计参数，包括污染比例和因子载荷。
• 通过限制潜在因子数量来控制模型复杂度，确保在高维场景下的可扩展性。
• 通过污染成分为异常点分配更高概率，实现自动异常点检测。

实验结果

研究问题

• RQ1 如何将鲁棒因子分析扩展至p ≫ n的高维数据？
• RQ2 在高维场景下，污染高斯分布是否能较t分布更优地实现异常点检测？
• RQ3 如何通过污染高斯因子分析混合模型在控制模型复杂度的同时，捕捉高维异质数据结构？
• RQ4 所提出的基于EM的参数估计方法在识别异常点与估计潜在因子方面的表现如何？
• RQ5 污染成分如何实现对高维数据中虚假或噪声观测的自动检测？

主要发现

• 污染高斯因子分析模型在成功实现高维数据降维的同时，通过其污染成分识别出异常点。
• 污染高斯因子分析混合模型在p ≫ n的高维场景下，有效捕捉了异质数据结构。
• 所提出的EM算法收敛稳定，可高效估计参数，包括污染比例与因子载荷。
• 通过检测异常值与噪声，模型实现了鲁棒性，且无需预先知晓异常点位置。
• 受控的潜在因子数量确保了模型的简洁性与高维场景下的可扩展性。
• 真实数据应用表明，该模型在识别异常观测与有效降低数据维度方面具有实际应用价值。