[论文解读] On the sample complexity of entropic optimal transport

Philippe Rigollet, Austin J. Stromme|arXiv (Cornell University)|Jun 27, 2022

Markov Chains and Monte Carlo Methods被引用 5

一句话总结

本文通过计算高效的插值估计器，建立了熵最优传输的无维数、参数型样本复杂度率。证明了熵回归函数——类似于最优传输映射——即使在高维情况下，也能通过Schrödinger耦合和Polyak-Áojasiewicz不等式带来的强凸性，实现参数型收敛速率。

ABSTRACT

We study the sample complexity of entropic optimal transport in high dimensions using computationally efficient plug-in estimators. We significantly advance the state of the art by establishing dimension-free, parametric rates for estimating various quantities of interest, including the entropic regression function which is a natural analog to the optimal transport map. As an application, we propose a practical model for transfer learning based on entropic optimal transport and establish parametric rates of convergence for nonparametric regression and classification.

研究动机与目标

• 解决最优传输估计中的统计维数灾难问题。
• 建立熵最优传输估计器的计算高效、无维数收敛速率。
• 基于熵最优传输构建一个具有可证明的非参数回归与分类速率的迁移学习模型。
• 分析熵回归函数作为Brenier映射的平滑、自适应类比的样本复杂度。
• 证明Schrödinger耦合即使在高维支撑下也能实现参数型收敛。

提出的方法

• 将熵正则化最优传输问题（Schrödinger耦合）作为标准OT的计算可处理替代方案。
• 应用Sinkhorn算法高效计算Schrödinger耦合。
• 利用对偶势函数和典范延拓方法，统一有界正则化势函数。
• 利用Polyak-Áojasiewicz不等式关联梯度范数与函数值差距，支持强凸性论证。
• 通过指数函数与对数函数映射的Lipschitz连续性，建立对偶势函数与密度的统一有界性。
• 通过浓度不等式和经验与真实对偶势函数差异的统一有界性，推导收敛速率。

实验结果

研究问题

• RQ1 熵最优传输是否能在高维设置下实现无维数、参数型样本复杂度？
• RQ2 熵回归函数是否能提供Brenier映射的平滑、自适应估计器，并实现最优速率？
• RQ3 Schrödinger耦合能否用于构建具有非参数回归与分类保证的实际迁移学习模型？
• RQ4 估计熵耦合及其相关势函数的样本复杂度是多少？
• RQ5 对偶势函数与密度的统一有界性如何促进熵OT中的收敛速率？

主要发现

• 熵回归函数在$L^\infty$范数下实现与维度无关的参数型收敛速率。
• 对偶势函数$f_n$与$g_n$在$L^\infty$范数下一致有界，满足$\|f_n\|_{L^\infty(\mu)} \leq 2$与$\|g_n\|_{L^\infty(\nu_n)} \leq 1$，确保稳定性。
• Schrödinger耦合实现了对传输映射的无维数估计，避免了$n^{-1/d}$维数灾难。
• 经验与真实对偶势函数之间的差异被有界为$O(\|\bar{g}_\star - g_n\|_{L^1(\nu_n)})$，支持收敛性分析。
• Schrödinger耦合的密度$p_n(x,y)$以受对偶势函数差异的$L^1$-范数控制的速率收敛至$p_\star(x,y)$。
• 利用Polyak-Áojasiewicz不等式推导出基于强凸性的有界性，从而为熵OT估计器获得参数型速率。