[论文解读] The Price of Differential Privacy under Continual Observation

Palak Jain, Sofya Raskhodnikova+2 more|arXiv (Cornell University)|Dec 1, 2021

Privacy-Preserving Technologies in Data参考文献 26被引用 4

一句话总结

本文首次为两种基础问题——MaxSum 和 SumSelect——的差分隐私持续发布机制建立了强有力的误差下界，表明最坏情况下的误差比批量模型大 Ω̃(T^{1/3}) 倍，这一差距远超此前已知的多对数界。作者还在自适应持续发布模型中提供了匹配的上界，证明即使在更强的隐私要求下，这种误差权衡也是不可避免的。

ABSTRACT

We study the accuracy of differentially private mechanisms in the continual release model. A continual release mechanism receives a sensitive dataset as a stream of $T$ inputs and produces, after receiving each input, an accurate output on the obtained inputs. In contrast, a batch algorithm receives the data as one batch and produces a single output. We provide the first strong lower bounds on the error of continual release mechanisms. In particular, for two fundamental problems that are widely studied and used in the batch model, we show that the worst case error of every continual release algorithm is $ ilde Ω(T^{1/3})$ times larger than that of the best batch algorithm. Previous work shows only a polylogarithimic (in $T$) gap between the worst case error achievable in these two models; further, for many problems, including the summation of binary attributes, the polylogarithmic gap is tight (Dwork et al., 2010; Chan et al., 2010). Our results show that problems closely related to summation -- specifically, those that require selecting the largest of a set of sums -- are fundamentally harder in the continual release model than in the batch model. Our lower bounds assume only that privacy holds for streams fixed in advance (the "nonadaptive" setting). However, we provide matching upper bounds that hold in a model where privacy is required even for adaptively selected streams. This model may be of independent interest.

研究动机与目标

• 理解差分隐私在持续发布模型中相对于批量模型的精度代价。
• 识别与求和相关问题中误差界的根本限制，特别是那些需要选择最大和的问题。
• 弥合非自适应和自适应输入设置下持续发布机制的已知上界与下界之间的差距。
• 构建在自适应隐私要求下仍成立的上界，证明下界在更强威胁模型下也是紧致的。
• 形式化并分析在差分隐私下实时数据分析中隐私与精度之间的权衡。

提出的方法

• 通过将批量模型中的单向边缘查询问题约化到持续模型中的 MaxSum 和 SumSelect 问题，证明下界。
• 设计一个精心构造的输入流，包含对抗性输入，迫使持续机制产生高误差，即使在固定（非自适应）输入流下仍满足隐私性。
• 利用二叉树机制和周期性重新计算结合指数机制进行 top-k 选择，设计出自适应持续发布机制。
• 应用集中不等式（如对正态和拉普拉斯随机变量）来在隐私约束下界定机制的误差。
• 利用隐私组合定理（针对 zCDP 和纯 DP）证明，即使输入是自适应选择的，机制仍满足差分隐私。
• 通过平衡重新计算次数与噪声水平来优化误差界，从而得到紧致的渐近误差率。

实验结果

研究问题

• RQ1 与批量模型相比，差分隐私在持续发布模型中的根本精度代价是什么？
• RQ2 对于与求和相关的问题，持续模型与批量模型之间的差距是否可能超过 T 的多对数级别？
• RQ3 对于 MaxSum 和 SumSelect，Ω̃(T^{1/3}) 的误差下界是否在自适应输入选择下依然紧致？
• RQ4 能否构建在自适应输入流下保持隐私性且误差匹配下界上界的上界？
• RQ5 在自适应持续发布模型中，误差如何随隐私参数（如 ρ, ε）和问题参数（如 d, T）变化？

主要发现

• 任何用于 MaxSum 的差分隐私持续发布机制的最坏情况误差，比最优批量算法大 Ω̃(T^{1/3}) 倍。
• 对于 SumSelect，误差也比批量模型大 Ω̃(T^{1/3}) 倍，表明在选择最大和时存在根本性困难。
• 即使在非自适应设置下（即输入预先固定），这些下界依然成立，表明该问题的固有难度。
• 在自适应持续发布模型中实现了匹配的上界，表明 Ω̃(T^{1/3}) 的误差差距是紧致的。
• 对于 zCDP 模型，误差为 O(min{T, T^{1/3} log^{2/3}(dT)/ρ^{1/3}})，对于纯 DP 模型，误差为 O(√(T log T)/ε)，与下界仅相差对数因子。
• 结果表明，需要在和中进行选择的问题——如在流式公共卫生数据中识别最普遍的疾病——在持续设置下进行私密保护本质上更困难。