[论文解读] On the fitting of mixtures of multivariate skew t-distributions via the EM algorithm

S. X. Lee, Geoffrey J. McLachlan|arXiv (Cornell University)|Sep 22, 2011

Statistical Distribution Estimation and Applications参考文献 30被引用 32

一句话总结

本文提出了一种用于拟合多元偏态 t 分布有限混合模型的精确 EM 算法，无需依赖蒙特卡洛方法。通过将难以处理的条件期望表示为截断多元 t 分布的矩——这些矩可通过非截断 t 分布的快速算法计算——该方法在高维情况下显著快于且更精确于蒙特卡洛 EM，尤其在高维情形下表现突出。

ABSTRACT

We show how the expectation-maximization (EM) algorithm can be applied exactly for the fitting of mixtures of general multivariate skew t (MST) distributions, eliminating the need for computationally expensive Monte Carlo estimation. Finite mixtures of MST distributions have proven to be useful in modelling heterogeneous data with asymmetric and heavy tail behaviour. Recently, they have been exploited as an effective tool for modelling flow cytometric data. However, without restrictions on the the characterizations of the component skew t-distributions, Monte Carlo methods have been used to fit these models. In this paper, we show how the EM algorithm can be implemented for the iterative computation of the maximum likelihood estimates of the model parameters without resorting to Monte Carlo methods for mixtures with unrestricted MST components. The fast calculation of semi-infinite integrals on the E-step of the EM algorithm is effected by noting that they can be put in the form of moments of the truncated multivariate t-distribution, which subsequently can be expressed in terms of the non-truncated form of the t-distribution function for which fast algorithms are available. We demonstrate the usefulness of the proposed methodology by some applications to three real data sets.

研究动机与目标

• 消除在有限混合多元偏态 t 分布模型中最大似然估计对计算成本高昂的蒙特卡洛方法的依赖。
• 解决在无限制多元偏态 t 分布模型中 EM 算法 E 步骤内条件期望不可计算的问题。
• 为高维数据开发一种数值高效且精确的蒙特卡洛 EM 替代方法。
• 在流式细胞术和脑肿瘤数据分析等应用中实现可重现且高精度的参数估计。
• 展示该精确方法在速度、精度和维度扩展性方面相较于蒙特卡洛 EM 的优越性。

提出的方法

• 将 E 步骤中的条件期望表示为多元截断 t 分布的矩。
• 将这些矩简化为涉及非截断多元 t 分布累积分布函数的表达式。
• 利用现有快速算法高效计算多元 t 分布函数以加速运算。
• 采用解析推导避免随机近似，以确定性数值计算替代蒙特卡洛积分。
• 使用这些精确表达式实现 EM 算法的迭代参数更新。
• 将该方法应用于有限混合多元偏态 t 分布（FM-MST），实现基于完整似然的推断。

实验结果

研究问题

• RQ1 能否在无需蒙特卡洛近似的情况下，对无限制多元偏态 t 分布的有限混合模型实现 EM 算法的精确化？
• RQ2 在不同数据维度下，精确 EM 与蒙特卡洛 EM 的计算效率和精度相比如何？
• RQ3 与蒙特卡洛方法相比，精确方法在多大程度上能显著缩短计算时间，同时保持或提升估计精度？
• RQ4 维度增加对精确方法与蒙特卡洛 EM 算法之间性能差距的影响如何？
• RQ5 精确方法能否实现高精度且可重现的结果，而避免蒙特卡洛方法因随机性带来的结果波动？

主要发现

• 在 p=2 时，精确 EM 算法的速度至少比使用 50 次抽样的蒙特卡洛 EM 快 25 倍，且在更高维度下仍保持速度与精度的双重优势。
• 在 p=10 时，精确方法的精度超过使用 500 次抽样的蒙特卡洛 EM 的 30,000 倍，同时速度也更快。
• 当 p > 6 时，蒙特卡洛 EM 至少需要 500 次抽样才能达到可接受的精度，相比之下其计算成本远高于精确方法。
• 精确方法在默认容差 10⁻⁶ 下即可实现高精度，而蒙特卡洛方法需极大样本量才能逼近相近精度。
• 精确算法可产生可重现的结果，而蒙特卡洛 EM 因其随机性在不同运行中结果存在波动。
• 该方法在高维数据中具有良好的可扩展性，尽管计算时间随维度增加而上升，但得益于多元 t 分布函数的高效计算，整体仍保持可行性。