[论文解读] Multilevel Clustering via Wasserstein Means

Nhat Ho, XuanLong Nguyen+4 more|arXiv (Cornell University)|Jun 13, 2017

Anomaly Detection Techniques and Applications参考文献 14被引用 42

一句话总结

该论文提出了一种基于优化的多级聚类框架，利用Wasserstein距离同时发现分层结构数据中的局部聚类和跨组的全局聚类。通过将问题表述为在离散概率测度上的联合优化，并利用与Wasserstein中心计算的联系，该方法实现了快速、一致且可扩展的聚类，在合成数据和真实世界数据集（包括图像和智能手机传感器数据）上表现出优越性能。

ABSTRACT

We propose a novel approach to the problem of multilevel clustering, which aims to simultaneously partition data in each group and discover grouping patterns among groups in a potentially large hierarchically structured corpus of data. Our method involves a joint optimization formulation over several spaces of discrete probability measures, which are endowed with Wasserstein distance metrics. We propose a number of variants of this problem, which admit fast optimization algorithms, by exploiting the connection to the problem of finding Wasserstein barycenters. Consistency properties are established for the estimates of both local and global clusters. Finally, experiment results with both synthetic and real data are presented to demonstrate the flexibility and scalability of the proposed approach.

研究动机与目标

• 解决在分层结构数据中同时发现组内局部聚类和组间全局聚类的挑战。
• 开发一种基于Wasserstein度量的系统性优化框架，联合建模多级聚类。
• 在较弱的分布假设下，确保估计的局部和全局聚类的统计一致性。
• 为大规模、高维数据集（如图像和传感器数据）提供可扩展且灵活的聚类方法。
• 提供一种快速的非贝叶斯替代方案，以替代现有的嵌套狄利克雷过程等层次聚类模型。

提出的方法

• 将多级聚类表述为在离散概率测度空间上的联合优化问题，使用二阶Wasserstein距离来量化聚类质量。
• 利用多级聚类与Wasserstein中心计算之间的数学联系，设计高效的优化算法。
• 引入目标函数的变体，通过约束条件促进局部聚类与全局聚类之间的强度借用。
• 采用从中心求解器导出的快速迭代算法，实现对大规模数据集的可扩展性。
• 利用最优传输理论，定义层次结构中不同层级上概率测度之间的自然距离度量。
• 在聚类前使用降维（如PCA）和特征提取（如GIST）对高维数据进行预处理。

实验结果

研究问题

• RQ1 统一的优化框架能否有效发现多级数据中的局部和全局聚类结构？
• RQ2 如何利用Wasserstein距离定义一致且可扩展的多级聚类目标？
• RQ3 在最简分布假设下，所提出的局部和全局聚类估计量的统计一致性如何？
• RQ4 与Wasserstein中心问题的联系是否能实现多级聚类的快速可扩展算法？
• RQ5 在真实世界数据集上，该方法与K-means、TSK-means和MC2-SVI等基线方法相比，在性能和效率上表现如何？

主要发现

• 在LabelMe数据集上，MWM和MWMS算法取得了最高的聚类性能，NMI为0.391，ARI为0.284，优于K-means和MC2-SVI。
• 在StudentLife数据集上，该方法在约一小时内成功发现了多级聚类，识别出不同地点间共享的学生行为。
• MWMS算法生成了视觉上一致的图像聚类，左侧为标签云，右侧为代表性图像，展示了与语义标签的良好对齐。
• 所提方法在高维、大规模数据上表现出可扩展性，包括来自49部智能手机的460万个数据点。
• 在底层数据分布的温和条件下，建立了局部和全局聚类估计的一致性定理。
• 该方法提供了一种快速的非贝叶斯替代方案，相较于嵌套狄利克雷过程，具有相当的可解释性并实现了更高的计算效率。