[论文解读] On the Power of Multiple Anonymous Messages

Badih Ghazi, Noah Golowich+3 more|arXiv (Cornell University)|Aug 29, 2019

Privacy-Preserving Technologies in Data参考文献 93被引用 23

一句话总结

该论文在差分隐私的随机化模型中，建立了频率估计及相关问题的根本极限与高效协议。证明了用户发送多条消息可使误差呈指数级降低，相比单消息协议，实现多项式对数级别的误差与通信开销，并为单消息设置提供了近乎紧致的下界。

ABSTRACT

An exciting new development in differential privacy is the shuffled model, in which an anonymous channel enables non-interactive, differentially private protocols with error much smaller than what is possible in the local model, while relying on weaker trust assumptions than in the central model. In this paper, we study basic counting problems in the shuffled model and establish separations between the error that can be achieved in the single-message shuffled model and in the shuffled model with multiple messages per user. For the problem of frequency estimation for $n$ users and a domain of size $B$, we obtain: - A nearly tight lower bound of $ ildeΩ( \min(\sqrt[4]{n}, \sqrt{B}))$ on the error in the single-message shuffled model. This implies that the protocols obtained from the amplification via shuffling work of Erlingsson et al. (SODA 2019) and Balle et al. (Crypto 2019) are essentially optimal for single-message protocols. A key ingredient in the proof is a lower bound on the error of locally-private frequency estimation in the low-privacy (aka high $ε$) regime. - Protocols in the multi-message shuffled model with $poly(\log{B}, \log{n})$ bits of communication per user and $poly\log{B}$ error, which provide an exponential improvement on the error compared to what is possible with single-message algorithms. For the related selection problem on a domain of size $B$, we prove: - A nearly tight lower bound of $Ω(B)$ on the number of users in the single-message shuffled model. This significantly improves on the $Ω(B^{1/17})$ lower bound obtained by Cheu et al. (Eurocrypt 2019), and when combined with their $ ilde{O}(\sqrt{B})$-error multi-message protocol, implies the first separation between single-message and multi-message protocols for this problem.

研究动机与目标

• 理解在差分隐私的随机化模型中，多个匿名消息的潜力。
• 为频率估计与选择问题的单消息协议建立紧致的误差下界。
• 设计针对频率估计、范围计数和M-估计等基础问题的高效多消息协议，实现多项式对数级别的误差与通信。
• 通过可证明的误差差异，展示单消息与多消息协议之间的本质区别。
• 将适用于本地差分隐私频率估计的技术扩展至高隐私（低ε）场景，克服先前工作的局限性。

提出的方法

• 使用新颖的本地差分隐私频率估计技术，在低隐私区域推导出单消息随机化模型中误差的近乎紧致下界 $\tilde{\Omega}(\min(\sqrt[4]{n}, \sqrt{B}))$。
• 提出一种使用私有随机币的多消息协议，用于频率估计，每位用户通信量为 $\mathrm{poly}(\log B, \log n)$，误差为 $\mathrm{poly}\log B$。
• 设计一种使用高效数据结构与混淆技术的公开随机币协议，实现低查询时间的范围计数。
• 通过将定义域离散化为 $B = n$ 个区间，将中位数与分位数的M-估计问题转化为范围计数问题。
• 应用矩阵机制，将多维范围计数问题简化为具有差分隐私保证的单维查询。
• 利用随机化模型的匿名化特性，实现非交互式、差分隐私协议，其误差显著小于本地模型中的结果。

实验结果

研究问题

• RQ1 在单消息随机化模型中，频率估计的误差根本极限是什么？
• RQ2 在随机化模型中，用户发送多条消息是否能实现相比单消息协议指数级更小的误差？
• RQ3 在单消息随机化模型中，选择问题所需的最少用户数量是多少？
• RQ4 在多消息随机化模型中，如何高效求解中位数与分位数的M-估计？
• RQ5 能否将本地差分隐私频率估计的技术扩展至高隐私区域之外？

主要发现

• 为单消息频率估计在随机化模型中建立了近乎紧致的误差下界 $\tilde{\Omega}(\min(\sqrt[4]{n}, \sqrt{B}))$。
• 证明了Erlingsson等人（SODA 2019）与Balle等人（Crypto 2019）的协议在单消息设置下本质上是最优的。
• 构建了一种多消息协议，每位用户通信量为 $\mathrm{poly}(\log B, \log n)$，误差为 $\mathrm{poly}\log B$，用于频率估计。
• 对于选择问题，在单消息模型中证明了至少需要 $\Omega(B)$ 个用户，显著优于先前的 $\Omega(B^{1/17})$ 下界。
• 首次为选择问题建立了单消息与多消息协议之间的可证明分离。
• 通过将定义域离散化为范围计数问题，实现了中位数的差分隐私多消息协议，每位用户误差与通信量均为 $\mathrm{poly}\log n$。