[论文解读] Optimal quantization of the mean measure and applications to statistical learning

Frédéric Chazal, Clément Levrard+1 more|arXiv (Cornell University)|Feb 4, 2020

Topological and Geometric Data Analysis被引用 4

一句话总结

该论文提出了一种对独立同分布的离散测度（例如持久性图或点过程）的均值测度进行最优量化的方法，采用批量和小批量算法，实现了近乎极小极大最优的收敛速率。该方法引入了一种基于量化中心点的 $\mathbb{R}^k$ 上的向量化映射，实现了在混合模型中对测度进行可证明有效的聚类，具有理论保证，并在拓扑数据分析和分类任务中得到实证验证。

ABSTRACT

This paper addresses the case where data come as point sets, or more generally as discrete measures. Our motivation is twofold: first we intend to approximate with a compactly supported measure the mean of the measure generating process, that coincides with the intensity measure in the point process framework, or with the expected persistence diagram in the framework of persistence-based topological data analysis. To this aim we provide two algorithms that we prove almost minimax optimal. Second we build from the estimator of the mean measure a vectorization map, that sends every measure into a finite-dimensional Euclidean space, and investigate its properties through a clustering-oriented lens. In a nutshell, we show that in a mixture of measure generating process, our technique yields a representation in $\\mathbb{R}^k$, for $k \\in \\mathbb{N}^*$ that guarantees a good clustering of the data points with high probability. Interestingly, our results apply in the framework of persistence-based shape classification via the ATOL procedure described in \\cite{Royer19}.

研究动机与目标

• 解决以离散测度（如持久性图、点模式）表示的数据聚类问题，而非标量或向量数据。
• 开发一种将测度映射到有限维欧氏空间的向量化方法，同时保持聚类结构。
• 在测度生成过程的混合模型框架下，为聚类性能提供理论保证。
• 设计计算高效的算法，通过最优量化近似均值测度，避免昂贵的Wasserstein中位数计算。
• 确保该方法具有广泛适用性，包括通过ATOL过程在拓扑数据分析中的应用，并在真实和合成数据上进行实证验证。

提出的方法

• 使用样本均值测度 $\bar{X}_n = \frac{1}{n}\sum_{i=1}^n X_i$ 作为真实均值测度 $\mathbb{E}(X)$ 的插补估计器。
• 应用批量和小批量量化算法，计算一个 $k$-点码书 $\mathbf{c} = (c_1, \dots, c_k)$，使其在 $L^2$-Wasserstein 意义下最优逼近 $\mathbb{E}(X)$。
• 定义一种向量化映射，通过在量化点 $c_j$ 处评估核函数，将每个测度 $X_i$ 映射到 $\mathbb{R}^k$ 中的一个向量，从而实现有限维嵌入。
• 通过证明算法在均值测度的最优 $k$-点逼近估计中达到近乎极小极大最优的收敛速率，建立理论最优性，前提是均值测度具有一定的结构假设。
• 利用打碎（shattering）和集中不等式论证，证明在混合模型中，所得向量化方法以高概率保持聚类分离性。
• 通过展示与ATOL过程及基于核的向量化方案的兼容性，将该方法与基于持久性的拓扑数据分析联系起来。

实验结果

研究问题

• RQ1 我们能否使用有限维量化方案，实现对离散测度分布的均值测度的极小极大最优估计？
• RQ2 如何设计一种从测度到 $\mathbb{R}^k$ 的向量化映射，使其在测度生成过程的混合模型中保持聚类结构？
• RQ3 当使用量化中心点作为向量化点时，可以为聚类性能提供哪些理论保证？
• RQ4 所提出的批量和小批量量化算法与经典 $k$-means 相比，在测度值数据上的最优性和计算效率方面有何差异？
• RQ5 该方法在多大程度上可推广至拓扑数据分析，特别是在持久性图聚类的背景下？

主要发现

• 在均值测度的温和结构假设下，所提出的批量和小批量量化算法在估计 $\mathbb{E}(X)$ 的最优 $k$-点逼近时，实现了近乎极小极大最优的收敛速率。
• 基于量化中心点处核函数评估的向量化映射，确保在混合模型中，原始测度空间中的聚类在 $\mathbb{R}^k$ 中以高概率得以保持。
• 该方法首次为拓扑数据分析背景下基于测度的聚类算法提供了理论保证，尤其适用于持久性图。
• 对于ATOL过程，证明在适当条件下，基于核的向量化方法 $\Psi_{AT}$ 是一个 $(p, r, 1)$-打碎映射，从而确保聚类分离。
• 在合成数据和真实数据集（包括文本和图分类）上的实证结果，证实了该方法在聚类和分类任务中的有效性。
• 该理论框架还恢复了经典量化技术在标准点样本 $k$-均值设置下的最优性。