[论文解读] Statistical bounds for entropic optimal transport: sample complexity and the central limit theorem

Gonzalo E. Mena, Jonathan Niles‐Weed|arXiv (Cornell University)|May 28, 2019

Geometric Analysis and Curvature Flows被引用 68

一句话总结

论文在任意维度的亚高斯测度下推导了信息熵最优传输的新样本复杂度界与中心极限定理，并将这些结果应用于高斯噪声下的熵估计。

ABSTRACT

We prove several fundamental statistical bounds for entropic OT with the squared Euclidean cost between subgaussian probability measures in arbitrary dimension. First, through a new sample complexity result we establish the rate of convergence of entropic OT for empirical measures. Our analysis improves exponentially on the bound of Genevay et al. (2019) and extends their work to unbounded measures. Second, we establish a central limit theorem for entropic OT, based on techniques developed by Del Barrio and Loubes (2019). Previously, such a result was only known for finite metric spaces. As an application of our results, we develop and analyze a new technique for estimating the entropy of a random variable corrupted by gaussian noise.

研究动机与目标

• 激励理解熵性OT在有界支集之外的统计行为。
• 给出无界测度下总体与经验熵成本之差的非渐近界限。
• 在一般亚高斯设置下建立熵性OT的中心极限定理。
• 将熵性OT应用于被高斯噪声污染变量的熵估计。

提出的方法

• 使用熵性OT的对偶形式及最优势函数(f,g)将S(P,Q)与S(Pn,Qn)联系起来。
• 通过在紧集上控制最优势函数的 Hölder 范数来推导无指数增长的界限。
• 使用经验过程理论和函数类的覆盖数来界定 E|S(P,Q)-S(Pn,Qn)|。
• 当 P 与 Q 为亚高斯时，按照 Del Barrio–Loubès 的方法证明 S(Pn,Qn) 的中心极限定理。
• 推导并分析利用熵性OT的 X+Gaussian 噪声的熵的代入估计量，并给出方差表征。
• 给出仿真以验证理论结论并说明熵估计应用。

实验结果

研究问题

• RQ1 对于 R^d 中的亚高斯测度，经验熵性OT成本 S(Pn,Qn) 收敛到总体成本 S(P,Q) 的速率是多少？
• RQ2 熵性OT 成本在亚高斯设置下是否存在中心极限定理，渐近方差是多少？
• RQ3 如何利用熵性OT估计与高斯噪声卷积的随机变量的微分熵，以及统计保证？
• RQ4 无界支集如何影响熵性OT的统计行为，相对于有界或有限设置？

主要发现

• 对于 σ^2-subgaussian P,Q，期望误差 E|S(P,Q)-S(Pn,Qn)| ≤ C_d(1+σ^{⟨5d/2⟩+6})/√n，改进了此前界限并消除了对大直径的依赖。
• 中心极限定理已建立：√n(S(Pn,Q)-E[S(Pn,Q)]) 收敛到 N(0,Var_P(f(X))).
• 在独立样本自 P 与 Q 的双样本 setting 中，√(mn/(m+n))(S(Pn,Qm)-E[S(Pn,Qm)]) 收敛到方差为 (1−λ)Var_P(f(X)) + λ Var_Q(g(Y)) 的正态分布。
• 论文将熵性OT与卷积测度的熵联系起来，使得对 X+Gaussian 噪声的熵存在 sqrt(n) 收敛的代入估计量。
• 仿真结果支持渐近正态性与改进的样本复杂度界，并展示了通过 OT 进行的熵估计。
• 基于熵性OT 的微分熵应用估计量达到所述的 CLT 基准保障。