[论文解读] Private Heavy Hitters and Range Queries in the Shuffled Model

Badih Ghazi, Noah Golowich+3 more|arXiv (Cornell University)|Aug 29, 2019

Cryptography and Data Security被引用 3

一句话总结

本文在差分隐私的洗牌模型中，建立了频率估计和重热点问题的根本极限与高效协议。它在单消息设置下证明了近乎紧致的误差下界，并在多消息模型中实现了误差的指数级改进，实现了用户通信量最小化下的多对数误差。

ABSTRACT

An exciting new development in differential privacy is the shuffled model, in which an anonymous channel enables non-interactive, differentially private protocols with error much smaller than what is possible in the local model, while relying on weaker trust assumptions than in the central model. In this paper, we study basic counting problems in the shuffled model and establish separations between the error that can be achieved in the single-message shuffled model and in the shuffled model with multiple messages per user. For the problem of frequency estimation for $n$ users and a domain of size $B$, we obtain: - A nearly tight lower bound of $ ilde{\Omega}( \min(\sqrt[4]{n}, \sqrt{B}))$ on the error in the single-message shuffled model. This implies that the protocols obtained from the amplification via shuffling work of Erlingsson et al. (SODA 2019) and Balle et al. (Crypto 2019) are essentially optimal for single-message protocols. A key ingredient in the proof is a lower bound on the error of locally-private frequency estimation in the low-privacy (aka high $\epsilon$) regime. - Protocols in the multi-message shuffled model with $poly(\log{B}, \log{n})$ bits of communication per user and $poly\log{B}$ error, which provide an exponential improvement on the error compared to what is possible with single-message algorithms. For the related selection problem on a domain of size $B$, we prove: - A nearly tight lower bound of $\Omega(B)$ on the number of users in the single-message shuffled model. This significantly improves on the $\Omega(B^{1/17})$ lower bound obtained by Cheu et al. (Eurocrypt 2019), and when combined with their $ ilde{O}(\sqrt{B})$-error multi-message protocol, implies the first separation between single-message and multi-message protocols for this problem.

研究动机与目标

• 理解差分隐私在洗牌模型中针对基本计数问题的根本极限。
• 在误差与通信效率方面，建立单消息与多消息协议之间的分离。
• 改进洗牌模型中频率估计与选择问题的先前误差下界。
• 设计高效的多消息协议，使其误差相比单消息协议实现指数级降低。

提出的方法

• 通过在高-ε区域对本地私有频率估计提出新颖下界，推导出单消息洗牌模型中误差的近乎紧致下界 $\tilde{\Omega}(\min(\sqrt[4]{n}, \sqrt{B}))$。
• 应用Erlingsson等人（SODA 2019）和Balle等人（Crypto 2019）提出的洗牌放大技术，证明单消息设置下现有协议的最优性。
• 构建了每用户通信量为 $\text{poly}(\log B, \log n)$、误差为 $\text{poly}\log B$ 的多消息协议，相较于单消息协议实现了误差的指数级改进。
• 证明了在单消息模型中，选择问题所需用户数的近乎紧致 $\Omega(B)$ 下界，显著优于先前的 $\Omega(B^{1/17})$ 下界。
• 结合改进的下界与现有的多消息协议，首次建立了单消息与多消息模型在选择问题上的分离。

实验结果

研究问题

• RQ1 在单消息洗牌模型中，频率估计的根本误差极限是什么？
• RQ2 洗牌模型中的多消息协议能否实现相比单消息协议的指数级更低误差？
• RQ3 在单消息洗牌模型中，选择问题所需用户数如何随规模变化？
• RQ4 在误差与通信复杂度方面，单消息与多消息模型之间存在何种分离？
• RQ5 能否利用高-ε区域下本地私有频率估计的下界，推导出洗牌模型中更强的边界？

主要发现

• 在单消息洗牌模型中，频率估计的误差建立了近乎紧致下界 $\tilde{\Omega}(\min(\sqrt[4]{n}, \sqrt{B}))$，表明基于洗牌放大的现有协议本质上是最优的。
• 多消息协议实现了 $\text{poly}\log B$ 的误差，且每用户通信量为 $\text{poly}(\log B, \log n)$，相较于单消息协议实现了指数级误差改进。
• 证明了在单消息模型中，选择问题所需用户数的近乎紧致 $\Omega(B)$ 下界，显著优于先前的 $\Omega(B^{1/17})$ 下界。
• 结合改进的下界与现有的 $\tilde{O}(\sqrt{B})$ 误差多消息协议，首次建立了单消息与多消息协议在选择问题上的分离。
• 结果表明，洗牌模型在单消息与多消息协议之间实现了显著的效率差距，尤其体现在误差缩放方面。
• 本工作证实，洗牌模型中的多消息协议可在最小通信量下实现接近最优的误差，凸显了消息多重性在差分私密计算中的强大优势。