[论文解读] The Optimal Mechanism in Differential Privacy

Quan Geng, Pramod Viswanath|arXiv (Cornell University)|Dec 5, 2012

Privacy-Preserving Technologies in Data参考文献 3被引用 15

一句话总结

本文在通用效用最大化框架下，推导出单个实值查询在 $\epsilon$-差分隐私下的最优机制。它提出了阶梯机制——一种具有几何衰减的对称、分段常数概率密度函数——在中等至低隐私水平（$\epsilon$）下，通过在 $\ell_1$ 和 $\ell_2$ 损失函数下最小化噪声幅度与二阶矩，优于拉普拉斯机制。

ABSTRACT

We derive the optimal $ε$-differentially private mechanism for single real-valued query function under a very general utility-maximization (or cost-minimization) framework. The class of noise probability distributions in the optimal mechanism has {\em staircase-shaped} probability density functions which are symmetric (around the origin), monotonically decreasing and geometrically decaying. The staircase mechanism can be viewed as a {\em geometric mixture of uniform probability distributions}, providing a simple algorithmic description for the mechanism. Furthermore, the staircase mechanism naturally generalizes to discrete query output settings as well as more abstract settings. We explicitly derive the optimal noise probability distributions with minimum expectation of noise amplitude and power. Comparing the optimal performances with those of the Laplacian mechanism, we show that in the high privacy regime ($ε$ is small), Laplacian mechanism is asymptotically optimal as $ε o 0$; in the low privacy regime ($ε$ is large), the minimum expectation of noise amplitude and minimum noise power are $Θ(Δe^{-\fracε{2}})$ and $Θ(Δ^2 e^{-\frac{2ε}{3}})$ as $ε o +\infty$, while the expectation of noise amplitude and power using the Laplacian mechanism are $\fracΔε$ and $\frac{2Δ^2}{ε^2}$, where $Δ$ is the sensitivity of the query function. We conclude that the gains are more pronounced in the low privacy regime.

研究动机与目标

• 建立差分隐私中隐私（$\epsilon$）与效用之间在实值查询下的基本权衡。
• 在包括 $\ell_1$ 和 $\ell_2$ 在内的通用损失函数下，推导出最小化期望成本（效用损失）的最优噪声分布。
• 通过识别具有阶梯形密度的更广泛最优机制类，推广先前关于几何与拉普拉斯机制的研究成果。
• 刻画最优机制相较于标准拉普拉斯机制在不同隐私水平（$\epsilon \to 0$ 与 $\epsilon \to \infty$）下的性能提升。

提出的方法

• 将问题表述为在 $\epsilon$-差分隐私约束下的成本最小化框架，效用由噪声上的通用损失函数定义。
• 通过使用拉格朗日乘数法求解约束优化问题，推导出离散查询输出的最优概率质量函数（PMF）。
• 识别出最优 PMF 具有阶梯结构：在初始区间内为常数值，随后呈几何衰减，且关于零点对称。
• 表明最优机制是均匀分布的几何混合，从而支持高效的算法实现。
• 证明最优 PMF 中的衰减参数 $\lambda$ 必须为 $e^{-\epsilon}$ 或 1，从而导出定义全局最优机制的极值解。
• 显式计算了 $\ell_1$ 和 $\ell_2$ 损失函数下的最优参数，得到噪声分布的闭式表达式。

实验结果

研究问题

• RQ1 对于具有任意灵敏度的单个实值查询，在 $\epsilon$-差分隐私下，最小化期望成本的最优噪声分布是什么？
• RQ2 在高隐私（$\epsilon \to 0$）与低隐私（$\epsilon \to \infty$）水平下，最优机制相较于拉普拉斯机制的性能表现如何？
• RQ3 最优机制能否被表征为均匀分布的混合？该结构是否简化了实现？
• RQ4 当 $\epsilon \to \infty$ 时，最优机制下最小噪声幅度与二阶矩的渐近行为是什么？
• RQ5 最优机制是否可推广至拉普拉斯与几何噪声之外的更广泛损失函数与查询灵敏度？

主要发现

• 最优机制具有对称、分段常数的概率密度函数，且呈几何衰减，形成阶梯形状。
• 对于 $\ell_1$ 损失，最优机制下的最小噪声幅度在 $\epsilon \to \infty$ 时呈 $\Theta(\Delta e^{-\epsilon/2})$ 阶，优于拉普拉斯机制的 $\Theta(\Delta / \epsilon)$ 阶。
• 对于 $\ell_2$ 损失，最优机制下的最小噪声二阶矩在 $\epsilon \to \infty$ 时呈 $\Theta(\Delta^2 e^{-2\epsilon/3})$ 阶，优于拉普拉斯机制的 $\Theta(\Delta^2 / \epsilon^2)$ 阶。
• 当 $\epsilon \to 0$ 时，拉普拉斯机制渐近最优，但阶梯机制在中等至低隐私水平下的性能提升最为显著。
• 最优机制可表示为均匀分布的几何混合，提供了简单且高效的算法构造方式。
• 最优 PMF 由单个参数 $r \in \{1, \dots, \Delta\}$ 完全表征，对应于中心平台的大小，全局最优的 $r$ 是在所有此类候选中最小化成本函数的解。