[论文解读] Optimal transport map estimation in general function spaces

Vincent Divol, Jonathan Niles‐Weed+1 more|arXiv (Cornell University)|Dec 7, 2022

Caveolin-1 and cellular processes被引用 4

一句话总结

本文提出了一种在一般函数空间中估计最优传输映射的统一框架，利用源测度上的Poincaré不等式和Brenier势函数空间的度量熵控制。在弱光滑性假设下建立了极小极大最优估计速率，恢复了Hölder映射的已知结果，并首次为高斯测度下无限宽度浅层神经网络映射提供了统计速率。

ABSTRACT

We study the problem of estimating a function $T$ given independent samples from a distribution $P$ and from the pushforward distribution $T_\sharp P$. This setting is motivated by applications in the sciences, where $T$ represents the evolution of a physical system over time, and in machine learning, where, for example, $T$ may represent a transformation learned by a deep neural network trained for a generative modeling task. To ensure identifiability, we assume that $T = abla φ_0$ is the gradient of a convex function, in which case $T$ is known as an \emph{optimal transport map}. Prior work has studied the estimation of $T$ under the assumption that it lies in a Hölder class, but general theory is lacking. We present a unified methodology for obtaining rates of estimation of optimal transport maps in general function spaces. Our assumptions are significantly weaker than those appearing in the literature: we require only that the source measure $P$ satisfy a Poincaré inequality and that the optimal map be the gradient of a smooth convex function that lies in a space whose metric entropy can be controlled. As a special case, we recover known estimation rates for Hölder transport maps, but also obtain nearly sharp results in many settings not covered by prior work. For example, we provide the first statistical rates of estimation when $P$ is the normal distribution and the transport map is given by an infinite-width shallow neural network.

研究动机与目标

• 开发一种在仅能获得源分布和推送分布独立样本时估计最优传输映射的一般方法。
• 在显著弱于以往工作的假设下，建立一般函数空间中的估计速率，特别是避免强Hölder型光滑性要求。
• 首次为源测度为高斯分布且映射为无限宽度浅层神经网络时的最优传输映射估计提供统计速率。
• 将现有关于Hölder映射的结果统一到基于度量熵和Poincaré不等式的更广泛理论框架中。

提出的方法

• 该方法假设传输映射 $ T = \nabla \varphi_0 $ 是凸函数（Brenier势）的梯度，通过最优传输理论确保可识别性和最优性。
• 依赖于源测度 $ P $ 满足Poincaré不等式，以控制浓度并确保估计的稳定性。
• 通过控制包含Brenier势 $ \varphi_0 $ 的函数空间的度量熵，来调控估计误差速率。
• 该框架使用基于度量熵的复杂度度量来界定估计误差，从而实现对经典Hölder光滑性类之外的推广。
• 一个关键技术工具是引理：若两个密度函数在整体上可比较，则它们之间最优传输映射的导数在零和无穷之间保持一致有界。
• 该方法被应用于构造估计器并推导在高斯测度和无限宽度神经网络等设定下的极小极大速率。

实验结果

研究问题

• RQ1 最优传输映射估计能否在经典Hölder类之外的一般函数空间中研究？
• RQ2 为实现极小极大最优速率，对源测度 $ P $ 和Brenier势 $ \varphi_0 $ 的最小假设是什么？
• RQ3 该框架能否在恢复Hölder映射已知速率的同时，扩展到无限宽度神经网络等新设定？
• RQ4 Poincaré不等式在确保估计稳定性和收敛性方面起什么作用？
• RQ5 在无配对采样模型中，势函数空间的度量熵如何控制估计误差？

主要发现

• 本文在源测度 $ P $ 满足Poincaré不等式且Brenier势 $ \varphi_0 $ 属于度量熵受控空间的假设下，建立了最优传输映射的极小极大最优估计速率。
• 作为特例，该框架恢复了Hölder连续映射的已知速率，验证了其与先前工作的自洽性。
• 首次推导出当 $ P $ 为标准正态分布且传输映射对应于无限宽度浅层神经网络时的统计估计速率。
• 该方法表明，若推送密度与源密度在整体上可比较，则最优传输映射的导数一致有界，从而确保稳定性。
• 该框架为估计误差提供了通用的Oracle不等式，平衡了近似误差与复杂度，类似于非参数回归中的情形。
• 分析表明，估计误差与势函数空间的度量熵成比例，从而精确刻画了模型复杂度与估计精度之间的权衡。