[论文解读] Selective Clustering Annotated using Modes of Projections

Evan Greene, Greg Finak+1 more|arXiv (Cornell University)|Jul 26, 2018

Bayesian Methods and Mixture Models参考文献 58被引用 5

一句话总结

本文提出了一种基于投影峰态的有选择性聚类方法（SCAMP），这是一种非参数聚类算法，通过检测高维数据中的单峰投影来识别聚类，避免了维度灾难，其核心在于使用一维密度估计。SCAMP在多种模拟场景下均表现出稳健的聚类性能，包括高维、噪声和非高斯数据，在分量分布偏离正态性时仍保持高精度。

ABSTRACT

Selective clustering annotated using modes of projections (SCAMP) is a new clustering algorithm for data in $\mathbb{R}^p$. SCAMP is motivated from the point of view of non-parametric mixture modeling. Rather than maximizing a classification likelihood to determine cluster assignments, SCAMP casts clustering as a search and selection problem. One consequence of this problem formulation is that the number of clusters is $ extbf{not}$ a SCAMP tuning parameter. The search phase of SCAMP consists of finding sub-collections of the data matrix, called candidate clusters, that obey shape constraints along each coordinate projection. An extension of the dip test of Hartigan and Hartigan (1985) is developed to assist the search. Selection occurs by scoring each candidate cluster with a preference function that quantifies prior belief about the mixture composition. Clustering proceeds by selecting candidates to maximize their total preference score. SCAMP concludes by annotating each selected cluster with labels that describe how cluster-level statistics compare to certain dataset-level quantities. SCAMP can be run multiple times on a single data matrix. Comparison of annotations obtained across iterations provides a measure of clustering uncertainty. Simulation studies and applications to real data are considered. A C++ implementation with R interface is $\href{https://github.com/RGLab/scamp}{available\ online}$.

研究动机与目标

• 开发一种聚类算法，能够在不依赖参数假设的前提下，保持对非高斯和高维数据的鲁棒性。
• 通过使用一维密度估计而非完整的多元密度估计，解决非参数峰态聚类中的维度灾难问题。
• 通过利用单峰投影，提升复杂数据结构（如重叠或偏斜的分量分布）下的聚类准确性。
• 为高维场景下现有的混合模型和基于密度的聚类方法提供一种可扩展且计算高效的替代方案。

提出的方法

• SCAMP通过沿各维度检测数据点的单峰投影来识别聚类，假设每个聚类对应一个单峰的边际分布。
• 该算法采用基于投影的方法，估计数据在单维切片中的局部峰态，避免完整的多元密度估计。
• 在模拟数据中，通过四种函数（平方根、指数、平方和恒等函数）对坐标进行顺序变换，以增强聚类的可分性。
• SCAMP通过选择在多个投影中最为稳定和显著的峰态，采用有选择性的聚类策略，将数据点分配至聚类。
• 该方法基于一个基于拷贝的混合模型（1.1），其中分量分布在每一维上均被限制为单峰。
• 通过聚焦于非参数峰态结构，避免使用基于EM的参数估计，从而对模型误设具有鲁棒性。

实验结果

研究问题

• RQ1 非参数聚类方法是否能在不遭受维度灾难影响的情况下，在高维数据中实现高精度？
• RQ2 当分量分布偏离正态性或表现出偏度与重尾时，SCAMP的性能如何？
• RQ3 与未经变换的数据相比，坐标变换在SCAMP中在多大程度上提升了聚类检测效果？
• RQ4 SCAMP与现有混合模型和基于密度的聚类方法相比，在鲁棒性和计算效率方面表现如何？
• RQ5 噪声分量和不同样本大小对SCAMP聚类性能的影响是什么？

主要发现

• SCAMP在所有模拟场景中均实现了高聚类精度，包括高维（20D）和大样本量（30,000个观测值）的情形。
• 在情景1（3,000个观测值）中，SCAMP即使在分量均值从{0,6}或{0,3,6}中抽取时，也以高精度正确识别出17个独立聚类。
• 在情景2（30,000个观测值）中，SCAMP保持了优异性能，聚类规模均衡，并对自由度为5的t分布分量表现出强鲁棒性。
• 当引入一个包含30,000个观测值的噪声分量（来自多元t分布）时，SCAMP的聚类精度未下降，因为噪声未被分配至任何聚类。
• 坐标变换（如平方根、指数变换）显著提升了非高斯情形下的聚类检测效果，尤其在分量偏斜或具有重尾时更为明显。
• 在情景3中，SCAMP成功分辨出包含56个分量、样本量在50至3,950之间的复杂聚类结构，表明其具备强大的可扩展性和对小聚类的敏感性。