[论文解读] Towards an Axiomatic Approach to Hierarchical Clustering of Measures

Philipp Thomann, Ingo Steinwart+1 more|arXiv (Cornell University)|Aug 15, 2015

Bayesian Methods and Mixture Models参考文献 25被引用 6

一句话总结

本文提出了一套无须依赖度量或相似性度量的、针对概率测度的层次聚类的公理化框架。该框架通过用户指定的基本测度上的聚类来定义聚类，证明在可加性和连续性公理下，可在一大类分布（包括无密度的分布）上诱导出唯一的层次聚类。其主要贡献在于提供了一个通用且数学严谨的聚类基础，可扩展至无限样本情形及混合Hausdorff维数测度。

ABSTRACT

We propose some axioms for hierarchical clustering of probability measures and investigate their ramifications. The basic idea is to let the user stipulate the clusters for some elementary measures. This is done without the need of any notion of metric, similarity or dissimilarity. Our main results then show that for each suitable choice of user-defined clustering on elementary measures we obtain a unique notion of clustering on a large set of distributions satisfying a set of additivity and continuity axioms. We illustrate the developed theory by numerous examples including some with and some without a density.

研究动机与目标

• 开发一种通用的、公理化的概率测度层次聚类框架，该框架不依赖于度量或相似性度量。
• 通过在基本测度集合上指定用户定义的聚类，将聚类形式化为测度上的函数。
• 确立此类聚类函数在可加性与连续性公理下被唯一确定的条件。
• 将理论扩展至复杂分布，包括无密度分布及混合Hausdorff维数分布。
• 为无限样本聚类提供严格的理论基础，支持一致性和学习率分析。

提出的方法

• 定义一组公理——公理1、2和3——以控制概率测度上层次聚类函数的行为，强调可加性与连续性。
• 以用户对基本测度类中聚类的指定为起点，无需引入度量或相似性概念。
• 通过定义18引入极限结构的概念，以确保聚类扩展的唯一性。
• 证明定理20，该定理为唯一极限结构的存在性提供了充分条件，从而支持唯一可加且连续聚类的构造。
• 将该框架应用于包含密度水平集和混合Hausdorff维数测度的实例，表明其与已知聚类概念一致。
• 利用测度论工具（如内正则性、支撑集定义及Radon-Nikodym导数）来形式化连续性与可加性。

实验结果

研究问题

• RQ1 能否仅基于用户对基本测度的聚类指定，在一大类概率测度上唯一定义层次聚类函数？
• RQ2 哪些公理——特别是可加性与连续性——是确保聚类扩展唯一性的必要且充分条件？
• RQ3 该公理化框架与现有聚类概念（如密度水平集聚类或基于众数的聚类）有何关联？
• RQ4 该框架能否处理无密度的分布，如奇异测度或混合Hausdorff维数测度？
• RQ5 在一般测度空间中，确保唯一性所必需的极限结构存在的条件是什么？

主要发现

• 对于用户对基本测度聚类的任意合适选择，均存在唯一层次聚类，作用于一大类满足可加性与连续性公理的概率测度。
• 定理20提供了通过定义18确定唯一极限结构存在的判据，这是构造唯一聚类函数的关键。
• 定理21表明，在定理20的条件下，整个测度空间上存在唯一可加且连续的聚类函数。
• 该框架包含并推广了密度水平集聚类，表明此类聚类自然地成为该公理化方法的一个特例。
• 该理论适用于Radon空间上的测度，包括波兰空间及带有弱拓扑的可分Banach空间，且支持具有混合Hausdorff维数的测度。
• 通过Radon-Nikodym导数等手段，正式利用测度的支撑集与绝对连续性性质，以确保聚类函数的连续性与一致性。