[论文解读] Privately Answering Counting Queries with Generalized Gaussian Mechanisms

Arun Ganesh, Jiazheng Zhao|arXiv (Cornell University)|Oct 4, 2020

Privacy-Preserving Technologies in Data参考文献 12被引用 2

一句话总结

本文提出了一种新颖的差分隐私机制，用于回答 k 个计数查询，采用形状参数为 p 的广义高斯噪声，实现 ℓ∞-误差为 O(√(k log log log k log(1/δ))/ϵ)，将已知最优上界与下界之间在 ℓ∞-误差上的乘法差距从 O(√log log k) 缩小至 O(√log log log k)。该方法结合广义高斯机制与稀疏向量技术，以私密方式精炼高误差条目。

ABSTRACT

We consider the problem of answering $k$ counting (i.e. sensitivity-1) queries about a database with $(ε, δ)$-differential privacy. We give a mechanism such that if the true answers to the queries are the vector $d$, the mechanism outputs answers $ ilde{d}$ with the $\ell_\infty$-error guarantee: $$\mathcal{E}\left[|| ilde{d} - d||_\infty ight] = O\left(\frac{\sqrt{k \log \log \log k \log(1/δ)}}ε ight).$$ This reduces the multiplicative gap between the best known upper and lower bounds on $\ell_\infty$-error from $O(\sqrt{\log \log k})$ to $O(\sqrt{\log \log \log k})$. Our main technical contribution is an analysis of the family of mechanisms of the following form for answering counting queries: Sample $x$ from a extit{Generalized Gaussian}, i.e. with probability proportional to $\exp(-(||x||_p/σ)^p)$, and output $ ilde{d} = d + x$. This family of mechanisms offers a tradeoff between $\ell_1$ and $\ell_\infty$-error guarantees and may be of independent interest. For $p = O(\log \log k)$, this mechanism already matches the previous best known $\ell_\infty$-error bound. We arrive at our main result by composing this mechanism for $p = O(\log \log \log k)$ with the sparse vector mechanism, generalizing a technique of Steinke and Ullman.

研究动机与目标

• 为差分隐私计数查询降低已知最优上界与下界之间在 ℓ∞-误差上的乘法差距。
• 开发一种机制，实现比现有方法更紧致的 ℓ∞-误差保证，尤其改进 (ϵ,δ)-差分隐私下 O(√(k log log k log(1/δ))/ϵ) 的边界。
• 分析广义高斯机制的隐私与效用特性，该机制在 ℓ1 与 ℓ∞ 误差之间提供权衡，并且比先前机制更简单。
• 通过将广义高斯机制与稀疏向量机制组合，推广 Steinke 和 Ullman 的技术，以实现更优的误差控制。
• 提供具有闭式表达、易于采样的噪声分布的机制，在保持隐私的同时最小化最坏情况误差。

提出的方法

• 提出一种机制，向真实答案 d 添加噪声 x，其中 x 从形状参数为 p、尺度为 σ 的广义高斯分布中采样，即概率密度与 exp(−(||x||p/σ)^p) 成正比。
• 对 p = O(log log log k) 使用广义高斯机制，以在保持每维坐标独立噪声的前提下，实现更优的 ℓ∞-误差界。
• 将广义高斯机制与稀疏向量机制组合，以私密方式校正误差较大的条目。
• 设定噪声尺度 σ = Θ(√(k^p log(1/δ))/ϵ)，以平衡隐私与效用，确保满足 (ϵ,δ)-差分隐私。
• 使用广义的切尔诺夫型不等式进行尾部概率分析，控制任一坐标超过阈值的概率，利用广义高斯分布中各坐标之间的独立性。
• 通过联合界与集中不等式证明：以高概率，最多 O(k / log^{2+2t}k) 个条目具有较大绝对值，从而可通过稀疏向量机制实现有效校正。

实验结果

研究问题

• RQ1 广义高斯机制在 (ϵ,δ)-差分隐私下，能否在计数查询中实现优于高斯或拉普拉斯机制的 ℓ∞-误差？
• RQ2 在差分隐私查询发布中，ℓ1 与 ℓ∞ 误差之间的最优权衡是什么？能否通过单一噪声分布实现？
• RQ3 将广义高斯机制与稀疏向量机制组合，能否缩小已知上界与下界之间在 ℓ∞-误差上的差距？
• RQ4 使用 p = O(log log log k) 的广义高斯噪声，是否能获得比先前方法更紧致的 ℓ∞-误差界？
• RQ5 能否设计一种机制，通过独立且具有闭式表达的噪声采样，实现接近最优的 ℓ∞-误差，同时保持强隐私保证？

主要发现

• 所提机制实现了 O(√(k log log log k log(1/δ))/ϵ) 的 ℓ∞-误差，将上界与下界之间乘法差距从 O(√log log k) 缩小至 O(√log log log k)。
• 当 p = Θ(log log k) 时，该机制与先前已知最优 ℓ∞-误差界 O(√(k log log k log(1/δ))/ϵ) 一致，但采用更简单的独立噪声模型。
• 通过组合形状参数为 p = O(log log log k) 的广义高斯机制与稀疏向量机制，并校准隐私参数，该机制确保了 (ϵ,δ)-差分隐私。
• ℓ∞-误差超过 ct√(k^p log(1/δ)/ϵ) · (log log k)^{1/p} 的概率被控制在 e^{-log^t k} 以内，其衰减速度快于 k 的任意多项式。
• 噪声分布具有解析可处理性且易于采样，与先前使用依赖噪声的机制不同，使本方法更具实用性。
• 分析表明：以高概率，仅有 O(k / log^{2+2t}k) 个条目超过阈值，因此可通过稀疏向量机制实现有效校正。