[论文解读] Statistical Optimal Transport posed as Learning Kernel Embedding

J. Saketha Nath, Pratik Jawanpuria|arXiv (Cornell University)|Feb 8, 2020

Neural Networks and Applications参考文献 49被引用 6

一句话总结

本文提出了一种基于核函数的新型统计最优传输方法，通过将传输计划的估计表述为学习其核均值嵌入（kernel mean embedding），并利用最大均值差异（MMD）进行正则化。在温和条件下，该方法对传输计划及其Barycentric投影映射的ϵ-最优恢复实现了与维度无关的样本复杂度$O(m^{-1/2})$，从而在连续域中实现了稳定、平滑且支持样本外预测的估计。

ABSTRACT

The objective in statistical Optimal Transport (OT) is to consistently estimate the optimal transport plan/map solely using samples from the given source and target marginal distributions. This work takes the novel approach of posing statistical OT as that of learning the transport plan's kernel mean embedding from sample based estimates of marginal embeddings. The proposed estimator controls overfitting by employing maximum mean discrepancy based regularization, which is complementary to $ϕ$-divergence (entropy) based regularization popularly employed in existing estimators. A key result is that, under very mild conditions, $ε$-optimal recovery of the transport plan as well as the Barycentric-projection based transport map is possible with a sample complexity that is completely dimension-free. Moreover, the implicit smoothing in the kernel mean embeddings enables out-of-sample estimation. An appropriate representer theorem is proved leading to a kernelized convex formulation for the estimator, which can then be potentially used to perform OT even in non-standard domains. Empirical results illustrate the efficacy of the proposed approach.

研究动机与目标

• 解决统计最优传输中的维度灾难问题，其中样本复杂度通常随维度增加而显著恶化。
• 开发一种与维度无关的一致性估计器，用于最优传输计划及其映射，即使在连续和非标准域中亦成立。
• 克服现有估计器依赖$\phi$-散度或熵正则化所带来的局限性，这些方法在高维设置下可能无法有效控制过拟合。
• 通过核均值嵌入带来的隐式平滑性，实现样本外估计，这是标准密度基方法所不具备的特性。
• 通过再生核希尔伯特空间（RKHS）中的表示定理，建立核化凸优化公式，便于在任意域中实际实现。

提出的方法

• 将统计最优传输重新表述为学习传输计划的核均值嵌入，约束条件为匹配基于样本的边缘核均值嵌入估计值。
• 使用基于MMD的正则化来控制过拟合，该方法与传统的$\phi$-散度或熵正则化具有互补性。
• 将问题形式化为再生核希尔伯特空间（RKHS）中的凸优化任务，利用表示定理实现有限维解的表示。
• 通过利用边缘核均值嵌入的估计可实现$O(m^{-1/2})$的样本复杂度（与维度无关）的特性，确保一致性和与维度无关的收敛性。
• 通过基于投影的论证表明，最优解位于经验核特征的张成空间中，从而支持有限维计算。
• 使用随机梯度下降（SGD）求解Barycentric投影映射估计问题，其收敛误差在有界域下为$O(1/\sqrt{m^\prime})$，且与维度无关。

实验结果

研究问题

• RQ1 统计最优传输是否能实现完全与输入维度无关的样本复杂度的一致性估计？
• RQ2 核均值嵌入是否可用于重构统计OT问题，从而实现隐式平滑和样本外预测？
• RQ3 基于MMD的正则化是否为OT估计中提供了一种与$\phi$-散度正则化互补且有效的替代方案？
• RQ4 能否为传输计划的核嵌入建立表示定理，从而实现有限维凸优化公式？
• RQ5 在温和正则性条件下，Barycentric投影映射是否能以与维度无关的样本复杂度被恢复？

主要发现

• 所提出的估计器对传输计划的ϵ-最优恢复实现了$O(m^{-1/2})$的样本复杂度，完全与维度无关。
• 在温和条件下，基于Barycentric投影的传输映射也可实现相同的与维度无关的样本复杂度。
• 基于MMD的正则化提供了一种互补且有效的机制，用于控制过拟合，其作用机制与传统的熵或$\phi$-散度正则化不同。
• 核均值嵌入公式支持隐式平滑，并可实现样本外估计，这是相对于密度基方法的关键优势。
• 证明了表示定理，表明最优解位于经验核特征的张成空间中，从而支持有限维凸优化公式的构建。
• 将随机梯度下降应用于Barycentric投影问题时，在有界域和凸代价函数下，估计误差为$O(1/\sqrt{m^\prime})$，且与维度无关。