[论文解读] On the 1-Wasserstein Distance between Location-Scale Distributions and the Effect of Differential Privacy

Saurab Chhachhi, Fei Teng|arXiv (Cornell University)|Apr 28, 2023

Income, Poverty, and Inequality被引用 4

一句话总结

本文利用位置和尺度参数以及标准正态分布累积分布函数、伽马函数等特殊函数，推导出一维位置尺度分布之间1- Wasserstein距离的精确闭式表达式。文章提出了一种新的线性上界，并分析了拉普拉斯和高斯机制下的差分隐私影响，展示了更紧的上界，并对受噪声影响的分布与参考高斯分布之间的Wasserstein距离提供了精确的高斯近似。

ABSTRACT

We provide an exact expressions for the 1-Wasserstein distance between independent location-scale distributions. The expressions are represented using location and scale parameters and special functions such as the standard Gaussian CDF or the Gamma function. Specifically, we find that the 1-Wasserstein distance between independent univariate location-scale distributions is equivalent to the mean of a folded distribution within the same family whose underlying location and scale are equal to the difference of the locations and scales of the original distributions. A new linear upper bound on the 1-Wasserstein distance is presented and the asymptotic bounds of the 1-Wasserstein distance are detailed in the Gaussian case. The effect of differential privacy using the Laplace and Gaussian mechanisms on the 1-Wasserstein distance is studied using the closed-form expressions and bounds.

研究动机与目标

• 推导出仅使用分布参数和特殊函数的一维独立位置尺度分布之间1-Wasserstein距离的精确解析表达式。
• 提出一种新的1-Wasserstein距离线性上界，其紧致性优于现有上界，尤其在两分布均值相等时表现更优。
• 研究拉普拉斯和高斯机制下差分隐私对1-Wasserstein距离的影响，提供更紧的上界，并对受噪声影响的分布提出近似方法。
• 在隐私保护机器学习和分布鲁棒性问题中，实现Wasserstein距离的更高效、更精确计算。

提出的方法

• 作者推导出两个独立一维位置尺度分布之间1-Wasserstein距离的精确表达式，即同一族中折叠分布的均值，其位置和尺度参数等于原分布参数的差值。
• 利用标准正态分布累积分布函数（CDF）和伽马函数等特殊函数表达1-Wasserstein距离，实现无需数值积分的解析计算。
• 提出一种新的1-Wasserstein距离线性上界，其紧致性优于现有上界，尤其在两分布均值相等时表现更优。
• 针对高斯情形，推导渐近上界以分析距离在极端参数值下的行为。
• 通过将差分隐私输出建模为位置尺度分布（如高斯-拉普拉斯混合分布），利用推导出的解析表达式对1-Wasserstein距离进行上界估计。
• 提出一种近似方法：将高斯-拉普拉斯分布替换为具有相同均值和方差的高斯分布，从而实现拉普拉斯机制下Wasserstein距离的闭式评估。

实验结果

研究问题

• RQ1 两个独立一维位置尺度分布之间的1-Wasserstein距离的精确解析表达式是什么？其表达式如何基于位置和尺度参数以及特殊函数表示？
• RQ2 能否为位置尺度分布之间的1-Wasserstein距离推导出更紧的线性上界，尤其是在两分布均值相等时？
• RQ3 在差分隐私下，通过拉普拉斯或高斯机制添加噪声后，对参考分布的1-Wasserstein距离如何变化？能否实现其解析上界或近似？
• RQ4 由拉普拉斯机制产生的高斯-拉普拉斯分布，在1-Wasserstein距离意义下是否可被具有相同均值和方差的高斯分布良好近似？该近似在何种条件下成立？

主要发现

• 两个独立一维位置尺度分布之间的1-Wasserstein距离，恰好等于同一族中折叠分布的均值，其位置和尺度参数等于原分布位置与尺度参数的差值。
• 推导出一种新的1-Wasserstein距离线性上界，其紧致性优于现有上界，尤其在两分布均值相等时表现更优。
• 针对高斯情形，1-Wasserstein距离的渐近行为被刻画，表明当均值或方差差异增大时，距离收敛至特定解析形式。
• 利用推导出的表达式，对拉普拉斯机制影响下的1-Wasserstein距离进行了上界估计，并提供了优于先前结果的更紧上界。
• 由拉普拉斯机制产生的高斯-拉普拉斯分布，可被具有相同均值和方差的高斯分布良好近似，从而实现拉普拉斯机制下1-Wasserstein距离的闭式近似，且当拉普拉斯噪声尺度相对于原始标准差较小时，该近似具有高精度。
• 所提出的拉普拉斯机制下1-Wasserstein距离近似公式（60）在较大隐私预算（如ε = 1）下表现良好，此时噪声尺度与原始标准差相当或更小。