[论文解读] Multivariate normal mixture modeling, clustering and classification with the rebmix package

Marko Nagode|arXiv (Cornell University)|Jan 26, 2018

Bayesian Methods and Mixture Models参考文献 10被引用 3

一句话总结

本论文介绍了 rebmix R 包，用于使用 REBMIX 算法进行多元正态混合模型建模、聚类和分类，该算法分别估计分量参数和权重，而非同时估计。该方法在大规模数据集上表现出卓越的计算速度和数值稳定性，尤其在使用直方图预处理时，对具有无限制协方差矩阵的模拟数据，聚类准确率达到 93.38%，分类误差率为 6.62%。

ABSTRACT

The rebmix package provides R functions for random univariate and multivariate finite mixture model generation, estimation, clustering and classification. The paper is focused on multivariate normal mixture models with unrestricted variance-covariance matrices. The objective is to show how to generate datasets for a known number of components, numbers of observations and component parameters, how to estimate the number of components, component weights and component parameters and how to predict cluster and class membership based upon a model trained by the REBMIX algorithm. The accompanying plotting, bootstrapping and other features of the package are dealt with, too. For demonstration purpose a multivariate normal dataset with unrestricted variance-covariance matrices is studied.

研究动机与目标

• 开发并展示 rebmix R 包，用于具有多元正态分量的有限混合模型、聚类和分类。
• 展示 REBMIX 算法能够分别估计分量参数和权重，从而提高数值稳定性和计算速度。
• 通过直方图预处理评估该包在大规模数据集上的性能，并与基于 EM 的方法进行比较。
• 提供生成合成数据集、估计分量数量以及对观测值进行分类并附带不确定性度量的工具。
• 使研究人员能够将 rebmix 用作混合模型中初始参数估计的稳健替代方案。

提出的方法

• REBMIX 算法使用最大似然原理分别估计分量权重和参数（均值向量与协方差矩阵），避免了 EM 方法中同时估计的方式。
• 该包支持具有无限制方差-协方差矩阵的多元正态混合模型，采用预测密度估计和分量特定的参数拟合方法。
• 通过直方图、Parzen 窗口或 k-最近邻方法进行预处理，以提高估计稳定性，尤其适用于大规模数据集。
• 使用信息准则（如 BIC、AIC、ICL）选择最优分量数量，模型选择基于最小化准则值。
• 聚类使用 REBMIX 算法执行，分类则通过 RCLSMIX 方法基于训练数据上的训练模型完成。
• 采用自助法和基于熵的评估（熵与熵减少量）来评估聚类质量与稳定性。

实验结果

研究问题

• RQ1 在大规模多元正态混合数据集上，REBMIX 算法与基于 EM 的方法相比，在计算速度和数值稳定性方面表现如何？
• RQ2 在有限混合模型中，哪种预处理方法（直方图、Parzen 窗口、k-NN）最能提升估计精度与速度？
• RQ3 rebmix 包能否可靠地估计多元正态混合模型中无限制协方差矩阵的分量数量、分量权重和参数？
• RQ4 当将 RCLSMIX 方法应用于模拟多元正态混合模型的测试数据时，其分类性能的准确性如何？
• RQ5 REBMIX 算法在多大程度上通过熵与熵减少量指标提升了聚类质量？

主要发现

• 在包含 2000 个观测值和 5 个分量的模拟多元正态数据集上，rebmix 包实现了 93.38% 的聚类准确率，最优分量数量下正确聚类分配的概率达到 77.9%。
• 在测试集上的分类误差率为 6.62%，表明 RCLSMIX 方法在多分类任务中具有出色的预测性能。
• REBMIX 算法在大规模数据集上表现出卓越的计算速度和数值稳定性，尤其在使用直方图预处理时更为显著。
• 熵减少量指标显示，当聚类数从 2 减少到 1 时，该值从 2.39 稳步上升至 3150.78，表明有效检测到了聚类结构。
• 通过 BIC 准则确定最优分量数量为 5，该配置下获得最低的 BIC 值。
• 该包在大规模数据集上相比基于 EM 的替代方法在速度和稳定性方面表现更优，尽管在小样本数据集上由于预处理影响，精度略低。