[论文解读] On the Minimax Optimality of Estimating the Wasserstein Metric

Tengyuan Liang|arXiv (Cornell University)|Aug 27, 2019

Geometric Analysis and Curvature Flows参考文献 10被引用 9

一句话总结

本文確立了使用獨立同分布樣本估計兩概率測度之間Wasserstein-1距離的極小最大最優速率，表明直接估計度量本身並不如在Wasserstein度量下估計測度容易。極小最大速率與估計測度的速率在乘法意義上等價，僅相差一個 $\log\log n / \log n$ 的對數因子，這意味著基於平滑經驗測度的插值估計器在 Hölder 平滑條件下，僅相差此因子即為極小最大最優。

ABSTRACT

We study the minimax optimal rate for estimating the Wasserstein-$1$ metric between two unknown probability measures based on $n$ i.i.d. empirical samples from them. We show that estimating the Wasserstein metric itself between probability measures, is not significantly easier than estimating the probability measures under the Wasserstein metric. We prove that the minimax optimal rates for these two problems are multiplicatively equivalent, up to a $\log \log (n)/\log (n)$ factor.

研究动机与目标

• 根據獨立同分布樣本，確定估計兩個未知概率測度之間Wasserstein-1距離的極小最大最優速率。
• 研究直接估計Wasserstein度量是否比在Wasserstein度量下估計底層概率測度更容易。
• 評估使用平滑經驗測度的插值估計器在估計Wasserstein距離時的最優性。
• 建立估計度量與估計測度之間的難度等價性，僅相差一個對數因子。

提出的方法

• 分析使用 Hölder 平滑類 $\mathcal{G}_\beta$ 對 $[0,1]^d$ 上屬於 $\mathsf{C}^\beta(M)$ 的密度概率測度。
• 利用一對在總變異距離上接近但Wasserstein距離不同的概率測度 $p_0, p_1$，通過兩點檢驗方法推導下界。
• 通過基於小波的平滑經驗測度構造上界，以控制偏差與方差。
• 估計器計算 $W(\widetilde{\mu}_m, \widetilde{\nu}_n) = \sup_{f \in \text{Lip}(1)} |\int f d\widetilde{\mu}_m - \int f d\widetilde{\nu}_n|$，其中 $\widetilde{\mu}_m, \widetilde{\nu}_n$ 為小波平滑的經驗測度。
• 誤差被分解為小波係數的估計誤差與在級別 $J$ 截斷小波展開的近似誤差，其中 $2^{dJ} \asymp n^{1/(2\beta/d + 1)}$ 使兩者達到平衡。
• 分析利用了Besov空間 $\mathsf{B}^{1,\infty}_\infty$ 和 $\mathsf{B}^{\beta,\infty}_\infty$ 的小波特徵來控制Lipschitz函數上的本質上確界。

实验结果

研究问题

• RQ1 估計兩個概率測度之間的Wasserstein-1度量是否顯著比在Wasserstein度量下估計測度本身更容易？
• RQ2 當底層測度具有Hölder平滑密度時，估計 $W(\mu, \nu)$ 的極小最大最優速率為何？
• RQ3 除了插值方法外的其他估計器能否實現比基於平滑經驗測度的估計器更快的收斂速率？
• RQ4 度量估計的極小最大速率與Wasserstein度量下密度估計的速率相比如何？
• RQ5 對數因子 $\log\log n / \log n$ 在度量估計與測度估計之間的速率等價性中起何種作用？

主要发现

• 估計Wasserstein-1距離 $W(\mu, \nu)$ 的極小最大最優速率為 $\asymp (n \wedge m)^{-(\beta+1)/(2\beta + d)}$，僅相差 $\log\log(n \wedge m)/\log(n \wedge m)$ 因子。
• 下界表明，任何估計器均無法實現快於 $\asymp (n \wedge m)^{-(\beta+1)/(2\beta + d)} \cdot \log\log(n \wedge m)/\log(n \wedge m)$ 的速率。
• 通過小波平滑插值估計器構造的上界達到了 $\precsim (n \wedge m)^{-(\beta+1)/(2\beta + d)}$ 的速率，證明插值方法在對數因子內為極小最大最優。
• 速率等價性意味著估計Wasserstein度量並不如在Wasserstein度量下估計底層測度容易。
• 對數因子 $\log\log n / \log n$ 在兩者之間的速率差距中是不可避免的，表明非插值估計器無法將速率改善超過此因子。
• 該結果適用於 $d \geq 2$ 且在 Hölder 平滑條件 $\mathcal{G}_\beta$ 下成立，速率取決於平滑度 $\beta$ 和維度 $d$。