[论文解读] The Optimal Mechanism in Differential Privacy: Multidimensional Setting

Quan Geng, Pramod Viswanath|arXiv (Cornell University)|Dec 2, 2013

Privacy-Preserving Technologies in Data参考文献 19被引用 11

一句话总结

本文在 $ε$-差分隐私框架下，推导出二维实值查询函数的最优 $ε$-差分隐私机制，其中 $ε$-差分隐私与 $ε$-差分隐私的定义保持一致。最优噪声分布为相关联的、多维阶梯状的概率密度函数，其在低隐私区间（$ϵ \to \infty$）显著优于拉普拉斯机制，将成本从 $Θ(\frac{2\Delta}{\epsilon})$ 降低至 $Θ(e^{-\epsilon/3})$。该结果将阶梯机制的最优性从单维推广至多维场景。

ABSTRACT

We derive the optimal $ε$-differentially private mechanism for a general two-dimensional real-valued (histogram-like) query function under a utility-maximization (or cost-minimization) framework for the $\ell^1$ cost function. We show that the optimal noise probability distribution has a correlated multidimensional staircase-shaped probability density function. Compared with the Laplacian mechanism, we show that in the high privacy regime (as $ε o 0$), the Laplacian mechanism is approximately optimal; and in the low privacy regime (as $ε o +\infty$), the optimal cost is $Θ(e^{-\fracε{3}})$, while the cost of the Laplacian mechanism is $\frac{2Δ}ε$, where $Δ$ is the sensitivity of the query function. We conclude that the gain is more pronounced in the low privacy regime. We conjecture that the optimality of the staircase mechanism holds for vector-valued (histogram-like) query functions with arbitrary dimension, and holds for many other classes of cost functions as well.

研究动机与目标

• 在 $ε$-差分隐私下，识别多维、类似直方图的查询函数的最优噪声分布。
• 将此前仅在单维查询中确立的阶梯机制最优性，扩展至二维场景。
• 在 $ε$-差分隐私框架下，最小化期望的 $ε$-差分隐私成本。
• 分析最优阶梯机制与拉普拉斯机制在不同隐私区间下的性能差距。
• 推测阶梯机制在更高维向量值查询及其他代价函数下仍保持最优。

提出的方法

• 在 $ε$-差分隐私框架下，通过效用最大化（成本最小化）方法推导最优机制。
• 将最优噪声分布表征为二维查询下的相关联多维阶梯状概率密度函数。
• 应用缩放与变换技术，将候选分布的搜索空间缩减为具有分段常数密度的分布。
• 利用引理证明：任何次优分布均可被转化为具有阶梯结构的分布，且成本不增加。
• 通过步骤数 $i \to \infty$ 的渐近分析，证明其收敛至连续的多维阶梯密度。
• 通过在以阈值 $k$ 参数化的阶梯分布族上进行优化，建立下确界成本。

实验结果

研究问题

• RQ1 在 $ε$-差分隐私框架下，二维实值查询函数的最优噪声分布是什么？
• RQ2 最优阶梯机制在高隐私与低隐私区间下与拉普拉斯机制的性能相比如何？
• RQ3 阶梯机制的最优性能否从单维扩展至多维查询函数？
• RQ4 在更高维度中，定义最优噪声分布的结构特性（如相关性、分段常数性）是什么？
• RQ5 阶梯机制在 $ε$-差分隐私框架之外的其他代价函数下是否仍保持最优？

主要发现

• 二维查询的最优噪声分布为相关联的多维阶梯状概率密度函数。
• 在高隐私区间（$\epsilon \to 0$），拉普拉斯机制近似最优，其性能与阶梯机制相当。
• 在低隐私区间（$\epsilon \to \infty$），最优成本为 $\Theta(e^{-\epsilon/3})$，显著优于拉普拉斯机制的 $\frac{2\Delta}{\epsilon}$。
• 复合机制（即对每个分量独立添加阶梯噪声）的成本为 $\Theta(e^{-\epsilon/4})$，劣于最优的 $\Theta(e^{-\epsilon/3})$。
• 最优机制相较于拉普拉斯机制的性能增益在低隐私区间最为显著。
• 作者推测，阶梯机制在任意维度的向量值查询及广泛类别的代价函数下仍保持最优。