[论文解读] Statistical and Topological Properties of Sliced Probability Divergences

Kimia Nadjahi, Alain Durmus+4 more|arXiv (Cornell University)|Mar 12, 2020

Statistical Mechanics and Entropy参考文献 55被引用 11

一句话总结

本文通过证明切片保持关键度量和拓扑性质（如度量公理和弱收敛性），建立了切片概率散度的理论基础，前提是基散度为度量或积分概率度量。此外，本文表明切片散度的样本复杂度与维度无关，解释了其在高维设置中的统计效率。

ABSTRACT

The idea of slicing divergences has been proven to be successful when comparing two probability measures in various machine learning applications including generative modeling, and consists in computing the expected value of a `base divergence' between one-dimensional random projections of the two measures. However, the topological, statistical, and computational consequences of this technique have not yet been well-established. In this paper, we aim at bridging this gap and derive various theoretical properties of sliced probability divergences. First, we show that slicing preserves the metric axioms and the weak continuity of the divergence, implying that the sliced divergence will share similar topological properties. We then precise the results in the case where the base divergence belongs to the class of integral probability metrics. On the other hand, we establish that, under mild conditions, the sample complexity of a sliced divergence does not depend on the problem dimension. We finally apply our general results to several base divergences, and illustrate our theory on both synthetic and real data experiments.

研究动机与目标

• 弥合对切片概率散度的拓扑和统计性质理解的理论空白。
• 研究切片如何影响多变量设置下基散度的度量和收敛性质。
• 分析切片散度的样本复杂度，并确定其对维度和估计方法的依赖性。
• 将结果推广至各种基散度，包括切片-Wasserstein 散度和切片-Cramér 散度，并通过实证方法加以验证。

提出的方法

• 定义一维测度上的通用基散度 Δ 及其通过多变量测度随机投影得到的切片版本 SΔ。
• 证明若 Δ 满足度量公理或弱连续性，则 SΔ 继承这些性质。
• 当 Δ 为积分概率度量时分析 SΔ，推导出上界性和强等价性的充分条件。
• 建立 SΔ 的样本复杂度与一维下 Δ 的样本复杂度成比例，且与环境维度 d 无关。
• 分析随机投影期望的蒙特卡洛近似的影响，识别出在高维中可能出现的额外方差项。
• 将在一般框架下应用于特定散度，包括切片-Wasserstein 散度和切片-Sinkhorn 散度，且在不同假设下进行分析。

实验结果

研究问题

• RQ1 切片是否保持基散度的度量和弱连续性性质？
• RQ2 在何种条件下，切片散度与基散度在拓扑上等价？
• RQ3 切片散度的样本复杂度如何随样本数量和维度 d 变化？
• RQ4 对投影期望的蒙特卡洛近似对切片散度的统计性能有何影响？
• RQ5 该理论框架能否用于推导特定散度（如切片-Cramér 或切片-Sinkhorn）的新结果？

主要发现

• 若基散度 Δ 为度量，则切片散度 SΔ 也是度量，保持度量公理。
• 当且仅当 Δ 中的收敛蕴含弱收敛时，SΔ 中的收敛才蕴含测度的弱收敛，从而保持拓扑行为。
• 当 Δ 为积分概率度量时，识别出 SΔ 被 Δ 上界控制的充分条件，意味着其拓扑更弱。
• SΔ 的样本复杂度与一维下 Δ 的样本复杂度成比例，且不依赖于环境维度 d。
• 当通过蒙特卡洛方法近似投影期望时，会出现额外的方差项，可能在高维中降低性能。
• 本文首次在一般假设下推导出切片-Wasserstein 距离的样本复杂度结果，并为切片-Sinkhorn 散度提供了新的理论见解。