[论文解读] Superclustering by finding statistically significant separable groups of optimal gaussian clusters

O. I. Berngardt|arXiv (Cornell University)|Sep 5, 2023

Information Systems and Technology ApplicationsBusiness, Management and Accounting被引用 3

一句话总结

该论文提出了一种新颖的超聚类算法，首先通过贝叶斯信息准则（BIC）识别最优高斯聚类数量，然后利用基于马氏距离的方法与动态调优的epsilon参数的DBSCAN，将聚类分组为统计上可分离的超聚类。该方法通过最大化矩阵质量准则，确保聚类间具有统计显著的可分性，在合成数据集上实现了高达0.999的Rand Index得分，并支持对新数据的软聚类与推理。

ABSTRACT

The paper presents the algorithm for clustering a dataset by grouping the optimal, from the point of view of the BIC criterion, number of Gaussian clusters into the optimal, from the point of view of their statistical separability, superclusters. The algorithm consists of three stages: representation of the dataset as a mixture of Gaussian distributions - clusters, which number is determined based on the minimum of the BIC criterion; using the Mahalanobis distance, to estimate the distances between the clusters and cluster sizes; combining the resulting clusters into superclusters using the DBSCAN method by finding its hyperparameter (maximum distance) providing maximum value of introduced matrix quality criterion at maximum number of superclusters. The matrix quality criterion corresponds to the proportion of statistically significant separated superclusters among all found superclusters. The algorithm has only one hyperparameter - statistical significance level, and automatically detects optimal number and shape of superclusters based of statistical hypothesis testing approach. The algorithm demonstrates a good results on test datasets in noise and noiseless situations. An essential advantage of the algorithm is its ability to predict correct supercluster for new data based on already trained clusterer and perform soft (fuzzy) clustering. The disadvantages of the algorithm are: its low speed and stochastic nature of the final clustering. It requires a sufficiently large dataset for clustering, which is typical for many statistical methods.

研究动机与目标

• 为解决无真实标签的无监督聚类挑战，提出一种通过统计显著性近似专家标注聚类结构的方法。
• 开发一种结合基于模型（高斯混合）与基于密度（DBSCAN）方法的聚类框架，以检测有意义且统计可分的超聚类。
• 实现对新数据的聚类成员预测，并支持软（模糊）聚类，提升方法在实际应用中的实用性，超越硬划分。
• 通过假设检验自动确定最优超聚类数量与形状，减少对任意超参数的依赖。

提出的方法

• 该算法首先将数据建模为高斯混合模型（GMM），通过最小化贝叶斯信息准则（BIC）选择分量数量。
• 计算GMM分量之间的马氏距离，以估计统计分离度与聚类大小，实现稳健的类间距离度量。
• 对GMM分量应用DBSCAN，通过从较小到较大的epsilon（最大距离）超参数进行顺序搜索。
• 提出一种新颖的矩阵质量准则（MC），定义为所有检测到的超聚类中具有统计显著性的比例，通过最大化该准则选择最优epsilon。
• 在用户定义的显著性水平（α = 0.1）下，使用统计假设检验评估每个超聚类的可分性。
• 最终输出为一组超聚类，每个超聚类表示为高斯混合模型，包含软聚类概率，并支持对新数据的推理。

Figure 1: Clustering points into BIC-optimal mixture of Gaussian distributions. On the left is a separation by the number of clusters $N_{BIC}$ corresponding to the BIC minimum. The background corresponds to decision areas, all points of which the algorithm will refer to given cluster. Colors corres

实验结果

研究问题

• RQ1 通过结合基于模型与基于密度的聚类方法，并引入统计显著性检验，聚类算法能否自动检测最优数量与形状的超聚类？
• RQ2 基于高斯混合建模与统计可分性的超聚类方法，在含噪与不含噪的合成数据集上，相较于标准聚类算法表现如何？
• RQ3 在仅有训练模型的前提下，该方法在多大程度上支持软聚类与新数据的泛化能力？
• RQ4 显著性水平α的选择如何影响最终超聚类的稳定性和质量？

主要发现

• 在无噪声的'small blobs'数据集上，该算法的Rand Index（RI）达到0.999，表明与专家标注结果近乎完美一致。
• 在'3 horseshoes'数据集上，该算法的RI达到0.987，表明在复杂非凸聚类形状上表现强劲。
• 在噪声条件下（如'2 snakes'数据集），该算法的RI维持在0.72–0.83之间，优于层次聚类基线（0.65–0.85）的相同范围。
• 在所有测试的无噪声情况下，矩阵质量准则（MC）均达到最大值1.0，表明所有检测到的超聚类均具有统计显著性。
• 该方法展示了利用训练模型对新数据执行软聚类并预测聚类成员的能力，这是许多无监督方法所不具备的关键优势。
• 尽管性能优异，该算法计算效率较低，且由于GMM拟合中EM初始化的随机性，表现出一定的随机变异性，同一组数据在不同运行中结果存在差异。

Figure 2: A-D) Distributions of points within clusters (different colors correspond to different clusters) and distributions of Mahalanobis distances corresponding to them (orange and green correspond to distributions of intercluster distances $p_{ij},p_{ji}$ , red and blue correspond to cluster siz