[论文解读] Tree-Sliced Variants of Wasserstein Distances

Tam Le, Makoto Yamada+2 more|arXiv (Cornell University)|Feb 1, 2019

3D Shape Modeling and Analysis参考文献 59被引用 3

一句话总结

本文提出树切片Wasserstein距离，这是一种新型最优传输变体，利用随机树度量实现Wasserstein距离的快速、闭式计算。通过在低维或高维空间中对多个自适应树结构的树-Wasserstein距离取平均，该方法在保持统计性质（包括负定性）的同时实现计算效率，从而可构建用于下游机器学习任务的正定核，展现出优异的实证性能。

ABSTRACT

Optimal transport (\OT) theory defines a powerful set of tools to compare probability distributions. \OT~suffers however from a few drawbacks, computational and statistical, which have encouraged the proposal of several regularized variants of OT in the recent literature, one of the most notable being the extit{sliced} formulation, which exploits the closed-form formula between univariate distributions by projecting high-dimensional measures onto random lines. We consider in this work a more general family of ground metrics, namely extit{tree metrics}, which also yield fast closed-form computations and negative definite, and of which the sliced-Wasserstein distance is a particular case (the tree is a chain). We propose the tree-sliced Wasserstein distance, computed by averaging the Wasserstein distance between these measures using random tree metrics, built adaptively in either low or high-dimensional spaces. Exploiting the negative definiteness of that distance, we also propose a positive definite kernel, and test it against other baselines on a few benchmark tasks.

研究动机与目标

• 为解决高维空间中最优传输（OT）的高计算成本，提出一种快速、可扩展的替代方法。
• 通过用树状结构度量替代线性投影，推广切片Wasserstein距离，实现更灵活、自适应的几何结构。
• 利用树-Wasserstein距离的负定性，通过指数变换构建可用于核方法的正定核。
• 在基准任务（包括基于词嵌入的文档分类与拓扑数据分析）上评估所提方法，以证明其经验优越性。

提出的方法

• 通过在从空间数据结构构建的多个随机采样树度量上计算树-Wasserstein（TW）距离，并对结果取平均，提出树切片Wasserstein距离。
• 利用层次聚类或空间填充曲线（如Hilbert曲线）构建树度量，以自适应地划分低维或高维空间中的数据。
• 使用树度量上Wasserstein距离的闭式解，实现无需求解完整OT问题的高效计算。
• 利用树-Wasserstein距离的负定性，通过指数变换推导出正定核，从而支持核方法。
• 采用递归划分算法（如Partition_HC）从数据点或其空间区域构建树结构，舍弃空子区域。
• 将方法应用于离散与连续分布，理论基础基于最优传输对偶性与度量几何。

实验结果

研究问题

• RQ1 树度量能否作为最优传输中标准基度量的计算高效替代方案？
• RQ2 在多个随机树上对树-Wasserstein距离取平均，能否产生稳定且信息丰富的概率测度间分歧？
• RQ3 能否利用树-Wasserstein距离的负定性，构建用于核方法学习的正定核？
• RQ4 树切片Wasserstein距离与现有基线方法（如切片Wasserstein与标准OT）相比，在下游机器学习任务中的表现如何？

主要发现

• 树切片Wasserstein距离在保持基准数据集上竞争力表现的同时，显著提升了相对于标准OT的计算速度。
• 该方法在基于词嵌入的文档分类任务中优于基线方法，包括切片Wasserstein与标准OT。
• 基于树切片距离构建的正定核在拓扑数据分析中（尤其是持久性图谱分类任务）达到最先进性能。
• 通过在多个随机树结构上取平均，该方法缓解了层次聚类与划分中常见的聚类敏感性与量化问题。
• 理论分析证实，树-Wasserstein距离具有负定性，从而可通过指数变换构造出有效的正定核。