[论文解读] Robust mixture modelling using sub-Gaussian stable distribution

Mahdi Teimouri, Saeid Rezakhah+1 more|arXiv (Cornell University)|Jan 24, 2017

Bayesian Methods and Mixture Models参考文献 16被引用 3

一句话总结

本文提出了一种期望最大化算法，用于估计有限混合子高斯 α 稳定分布中的参数，这是一种传统高斯混合模型的稳健替代方案。该方法在建模重尾数据方面表现出色，在含有显著异常值的合成数据集和真实世界数据集上优于标准模型。

ABSTRACT

Heavy-tailed distributions are widely used in robust mixture modelling due to possessing thick tails. As a computationally tractable subclass of the stable distributions, sub-Gaussian $\alpha$-stable distribution received much interest in the literature. Here, we introduce a type of expectation maximization algorithm that estimates parameters of a mixture of sub-Gaussian stable distributions. A comparative study, in the presence of some well-known mixture models, is performed to show the robustness and performance of the mixture of sub-Gaussian $\alpha$-stable distributions for modelling, simulated, synthetic, and real data.

研究动机与目标

• 为解决高斯混合模型在处理重尾和易受异常值影响的数据时的局限性。
• 探索子高斯 α 稳定分布作为稳定分布的一个计算上可行的子类，在稳健混合建模中的应用。
• 基于期望最大化框架，为该类分布开发一种高效的参数估计算法。
• 在合成数据和真实数据上，评估所提出的混合模型与知名混合模型的性能表现。

提出的方法

• 将期望最大化（EM）算法适配于估计有限混合子高斯 α 稳定分布中的位置、尺度和尾指数参数。
• 利用子高斯 α 稳定分布的特征函数，以在 EM 算法的 E 步骤中实现解析可处理性。
• 采用数值积分或近似技术，以处理 E 步骤中似然计算里难以解析求解的积分。
• 在 M 步骤中，利用 E 步骤中导出的期望充分统计量来更新混合分量的参数。
• 引入模型选择准则（如 AIC/BIC）以确定混合模型中最佳分量数量。
• 使用具有受控重尾行为的合成数据和已知存在异常值的真实世界数据集来验证该方法。

实验结果

研究问题

• RQ1 与经典的高斯混合模型及其他重尾混合模型相比，子高斯 α 稳定分布混合模型在应对异常值方面的鲁棒性如何？
• RQ2 所提出的 EM 算法在实际场景中能否有效估计子高斯 α 稳定混合分量的参数？
• RQ3 该模型在具有已知重尾和偏态分布的合成数据上的表现如何？
• RQ4 该模型在包含异常值或重尾观测值的真实世界数据集上的泛化能力如何？

主要发现

• 子高斯 α 稳定分布混合模型在拟合重尾数据方面始终优于高斯混合模型及其他标准混合模型。
• 所提出的 EM 算法收敛稳定，即使在存在显著异常值的情况下也能提供可靠的参数估计。
• 在具有重尾分量的合成数据集中，该模型的 AIC 和 BIC 值均低于对比模型。
• 在真实数据实验中，该模型能更好地捕捉尾部分布特征，并提供比高斯混合模型更精确的聚类结果。
• 该方法对模型误设具有鲁棒性，并在不同污染水平下仍保持高精度。
• 使用子高斯 α 稳定分布能够比对称稳定分布或高斯分布更好地表征具有偏度和重尾的数据。