[论文解读] Tree-Wasserstein Barycenter for Large-Scale Multilevel Clustering and Scalable Bayes

Tam Le, Viet Huynh+3 more|arXiv (Cornell University)|Oct 10, 2019

Anomaly Detection Techniques and Applications参考文献 42被引用 4

一句话总结

本文提出树-Wasserstein中位数（tree-Wasserstein barycenter），一种新颖方法，利用树状结构的基度量（ground metrics）以高效计算大规模多层级聚类与可扩展贝叶斯推断中的Wasserstein中位数。通过利用树度量的结构特性，该方法借助$ε$-正则化优化与基于树的投影，实现快速且内存高效的计算，在保持高维数据（含数千个支撑点）高精度的同时，运行时间相比基于Sinkhorn的基线方法最快可提升50%。

ABSTRACT

We study in this paper a variant of Wasserstein barycenter problem, which we refer to as tree-Wasserstein barycenter, by leveraging a specific class of ground metrics, namely tree metrics, for Wasserstein distance. Drawing on the tree structure, we propose an efficient algorithmic approach to solve the tree-Wasserstein barycenter and its variants. The proposed approach is not only fast for computation but also efficient for memory usage. Exploiting the tree-Wasserstein barycenter and its variants, we scale up multi-level clustering and scalable Bayes, especially for large-scale applications where the number of supports in probability measures is large. Empirically, we test our proposed approach against other baselines on large-scale synthetic and real datasets.

研究动机与目标

• 解决传统Wasserstein中位数计算在高维、大支撑点设置下的可扩展性限制。
• 开发一种基于树度量作为基距离的高效算法框架，用于计算Wasserstein中位数。
• 将多层级聚类与可扩展贝叶斯推断扩展至具有大量概率测度支撑点的大规模数据集。
• 与现有基线方法（如Sinkhorn和切片Wasserstein中位数）相比，展示更优的计算效率与精度。

提出的方法

• 在最优传输中使用树度量作为基距离，通过树状结构投影实现闭式解与快速计算。
• 对树-Wasserstein中位数问题应用熵正则化，利用类似Sinkhorn的算法在树映射的概率测度上实现高效优化。
• 采用基于聚类的树度量构建方法，结合最远点采样，构建保持数据几何结构的分层树结构。
• 利用树上的质心性质，放宽中位数中支撑点数量的约束，支持有界支撑的变体。
• 使用中位数的加权样本近似可扩展贝叶斯推断中的后验分布。
• 采用无U形采样（no-U-turn sampling, NUTS）进行后验采样，并在多种树配置下比较基于中位数的近似效果。

实验结果

研究问题

• RQ1 与标准OT或切片OT相比，树状结构的基度量是否能实现更快、更节省内存的Wasserstein中位数计算？
• RQ2 在高维数据与大量支撑点下，树-Wasserstein中位数在大规模多层级聚类中的表现如何？
• RQ3 树-Wasserstein中位数在具有大量后验样本的贝叶斯推断中，能在多大程度上提升可扩展性与精度？
• RQ4 在度量构建中，近似质量对树的数量与树深度的敏感性如何？

主要发现

• 在仅使用30个样本估计后验时，树-Wasserstein中位数的运行时间不足基于Sinkhorn的基线方法的一半。
• 当使用100棵树时，该方法将随机效应协方差矩阵估计的绝对误差降低至0.67425，优于Sinkhorn基线（0.751236）与切片Wasserstein方法（k=30时为0.678854）。
• 增加树的数量可提升估计的置信度，降低协方差矩阵估计中误差的均值与标准差。
• 即使在支撑点数量高达3,000时，该方法仍保持高精度，而Sinkhorn与切片基线方法则出现性能下降或停滞。
• 所提算法对高维数据具有鲁棒性，且相比一维投影方法（如切片Wasserstein）更能保持原始支撑分布的结构特性。
• 树-Wasserstein中位数可在无需显式指定中位数中支撑点数量的情况下，实现可扩展的多层级聚类与贝叶斯推断。