[论文解读] Optimal Noise-Adding Mechanism in Additive Differential Privacy

Quan Geng, Wei Ding+2 more|arXiv (Cornell University)|Sep 26, 2018

Privacy-Preserving Technologies in Data被引用 16

一句话总结

本文推导了在连续设置下 $(0,\delta)$-差分隐私的最优噪声添加机制，表明最优噪声分布为在零处具有点质量的均匀分布。在高隐私范围内，与高斯机制相比，该机制在最小化噪声幅度（$\ell^1$）和噪声功率（$\ell^2$）时，分别将期望噪声减少了两倍和三倍，而在低隐私范围内，性能提升更为显著。

ABSTRACT

We derive the optimal $(0, δ)$-differentially private query-output independent noise-adding mechanism for single real-valued query function under a general cost-minimization framework. Under a mild technical condition, we show that the optimal noise probability distribution is a uniform distribution with a probability mass at the origin. We explicitly derive the optimal noise distribution for general $\ell^p$ cost functions, including $\ell^1$ (for noise magnitude) and $\ell^2$ (for noise power) cost functions, and show that the probability concentration on the origin occurs when $δ> \frac{p}{p+1}$. Our result demonstrates an improvement over the existing Gaussian mechanisms by a factor of two and three for $(0,δ)$-differential privacy in the high privacy regime in the context of minimizing the noise magnitude and noise power, and the gain is more pronounced in the low privacy regime. Our result is consistent with the existing result for $(0,δ)$-differential privacy in the discrete setting, and identifies a probability concentration phenomenon in the continuous setting.

研究动机与目标

• 刻画单一定值查询在 $(0,\delta)$-差分隐私下的基本隐私-效用权衡。
• 在查询输出无关机制的一般成本最小化框架下，识别最优噪声分布。
• 填补对 $(0,\delta)$-差分隐私理解的空白，该领域相较于 $(\epsilon,0)$ 或 $(\epsilon,\delta)$ 范畴受到的关注较少。
• 证明最优噪声分布表现出在零处的概率质量集中现象，该现象此前仅在离散设置中被观察到。

提出的方法

• 在一般 $\ell^p$ 成本函数框架下推导了 $(0,\delta)$-差分隐私的最优噪声分布。
• 在偏好小噪声胜过大噪声的温和技术条件下，采用变分优化方法。
• 将最优噪声表征为在零处具有点质量的均匀分布，参数化为 $\alpha^*$。
• 显式推导出 $\alpha^*$ 作为 $\delta$ 的函数，适用于 $\ell^1$ 和 $\ell^2$ 成本函数。
• 通过期望噪声幅度和功率的精确解析表达式，将最优机制与高斯机制进行比较。
• 通过与 Balle 和 Wang（2018）的改进高斯机制进行比较，利用精确的累积分布函数校准，验证了最优性。

实验结果

研究问题

• RQ1 在最小化噪声 $\ell^1$-范数时，$(0,\delta)$-差分隐私的最优噪声分布是什么？
• RQ2 在最小化噪声 $\ell^2$-范数时，$(0,\delta)$-差分隐私的最优噪声分布是什么？
• RQ3 在连续的 $(0,\delta)$-差分隐私中，最优噪声分布是否会出现零点处的概率质量集中现象？在何种条件下会出现？
• RQ4 在高隐私和低隐私范围内，最优机制与高斯机制在噪声幅度和功率方面相比如何？
• RQ5 在一般 $\ell^p$ 成本函数下，$(0,\delta)$-差分隐私的最优噪声分布能否被显式表征？

主要发现

• 在最小化噪声幅度（$\ell^1$）时，当 $\delta > \frac{1}{2}$ 时，最优噪声分布具有零点处的点质量，且 $\alpha^* = 2\delta - 1$；当 $\delta \leq \frac{1}{2}$ 时，最小期望噪声幅度为 $\frac{\Delta}{4\delta}$。
• 在最小化噪声功率（$\ell^2$）时，当 $\delta > \frac{2}{3}$ 时，最优噪声分布具有零点处的点质量，且 $\alpha^* = 3\delta - 2$；当 $\delta \leq \frac{2}{3}$ 时，最小期望噪声功率为 $\frac{\Delta^2}{12\delta^2}$。
• 在高隐私范围（$\delta \to 0$）中，最优机制相比 Balle 和 Wang（2018）的改进高斯机制，将期望噪声幅度减少了两倍，噪声功率减少了三倍。
• 在低隐私范围（$\delta \to 1$）中，最优噪声成本与 $(1 - \delta)$ 成比例衰减，而高斯机制的成本分别收敛于 $\frac{\Delta}{2}$ 和 $\frac{\Delta^2}{4}$，表明在此范围内改进更为显著。
• 对于 $\ell^p$ 成本函数，当 $\delta > \frac{p}{p+1}$ 时，最优噪声分布表现出在零处的概率质量集中，确认了先前在离散设置中观察到的离散均匀噪声现象的连续类比。
• 结果证实，$(0,\delta)$-差分隐私的最优噪声机制严格优于高斯机制，尤其在低隐私范围内，此时效用增益最为显著。