[论文解读] Necessary Conditions in Multi-Server Differential Privacy

Albert Cheu, Yan Chao|arXiv (Cornell University)|Aug 17, 2022

Privacy-Preserving Technologies in Data被引用 2

一句话总结

本文确立了在无界敌手下，非交互式多服务器差分隐私协议的根本局限性。证明了此类协议在特征选择、奇偶学习和假设检验等关键任务中，所需样本量远超集中式私有化方法的指数级规模，表明必须采用交互式或计算型差分隐私，才能实现与集中模型相当的效率。

ABSTRACT

We consider protocols where users communicate with multiple servers to perform a computation on the users' data. An adversary exerts semi-honest control over many of the parties but its view is differentially private with respect to honest users. Prior work described protocols that required multiple rounds of interaction or offered privacy against a computationally bounded adversary. Our work presents limitations of non-interactive protocols that offer privacy against unbounded adversaries. We show these protocols demand exponentially more samples for some learning and estimation tasks than centrally private counterparts. This means performing as well as the central model requires interactivity or computational differential privacy, or both.

研究动机与目标

• 研究在无界敌手下，非交互式多服务器差分隐私协议的局限性。
• 确定此类协议是否能在学习与估计任务中实现与集中模型相当的样本复杂度。
• 识别出为弥合样本复杂度差距，是否需要交互性或计算型差分隐私。
• 形式化分布式差分隐私中隐私、交互性与样本效率之间的权衡。
• 为多服务器模型中的特征选择、奇偶学习、假设检验与均匀性检验建立样本复杂度的下限。

提出的方法

• 将多服务器协议转化为一种内部私有的在线算法，以在连续状态更新中保持差分隐私。
• 应用内部隐私的下限，推导学习任务的样本复杂度限制。
• 利用内部隐私与差分隐私之间的联系，将已知的内部隐私模型下限转移至差分隐私场景。
• 采用指数机制作为特征选择与假设检验中集中式私有化样本复杂度的基准。
• 分析腐败阈值（≤⌈k/2⌉台服务器）对隐私保证与样本效率的影响。
• 通过概率论论证与隐私约束下的失败概率控制，推导渐近下限。

实验结果

研究问题

• RQ1 非交互式多服务器差分隐私协议能否在特征选择任务中实现与集中模型相当的样本复杂度？
• RQ2 在无界敌手下，非交互式多服务器模型中奇偶学习的最小样本复杂度是多少？
• RQ3 多服务器模型中的假设检验样本复杂度与集中模型相比如何？
• RQ4 在高效样本复杂度下，非交互式多服务器模型中是否可行实现均匀性检验？
• RQ5 为匹配集中模型的效率，交互性或计算型差分隐私是否成为必要条件？

主要发现

• 在特征选择中，非交互式多服务器协议需要 Ω(√d/αε) 个样本，而集中模型可通过指数机制实现 O(log d/ε) 的复杂度。
• 在非交互式多服务器模型中，奇偶学习需要 Ω(√(d choose t)/αε) 个样本，相比集中模型的 O(d/αε)，呈指数级增长。
• 简单假设检验在多服务器模型中需要 Ω(√d/αε) 个样本，再次远差于集中模型的对数复杂度。
• 多服务器模型中均匀性检验的样本复杂度下限为 Ω(d^{2/3}/α^{4/3}ε^{2/3} + √d/α² + 1/αε)，相比集中模型的 √d 规模，呈多项式级增长。
• 结果表明，非交互式多服务器协议若无交互性或计算型差分隐私，无法实现与集中模型相当的效率。
• 即使 δ = 0 或 δlog(d/δ) ≪ α²ε²/d，下限依然成立，表明对小隐私参数具有鲁棒性。