[论文解读] Tight Lower Bounds for Locally Differentially Private Selection

Jonathan Ullman|arXiv (Cornell University)|Feb 7, 2018

Privacy-Preserving Technologies in Data参考文献 17被引用 26

一句话总结

本文建立了在单纯形上优化线性函数以及实现指数机制的非交互式局部差分隐私协议的样本复杂度的紧致、常数因子最优下界。结果表明，与中心模型相比，局部差分隐私在高维情况下会带来指数级的样本复杂度惩罚，解决了先前工作中留下的定量差距。

ABSTRACT

We prove a tight lower bound (up to constant factors) on the sample complexity of any non-interactive local differentially private protocol for optimizing a linear function over the simplex. This lower bound also implies a tight lower bound (again, up to constant factors) on the sample complexity of any non-interactive local differentially private protocol implementing the exponential mechanism. These results reveal that any local protocol for these problems has exponentially worse dependence on the dimension than corresponding algorithms in the central model. Previously, Kasiviswanathan et al. (FOCS 2008) proved an exponential separation between local and central model algorithms for PAC learning the class of parity functions. In contrast, our lower bound are quantitatively tight, apply to a simple and natural class of linear optimization problems, and our techniques are arguably simpler.

研究动机与目标

• 建立非交互式局部差分隐私协议在单纯形上进行线性优化的样本复杂度的紧致下界。
• 量化局部差分隐私在高维设置下相对于中心模型的固有效率低下程度。
• 解决关于局部隐私协议中隐私与效率权衡的定量理解上的差距。
• 提供一种比先前的指数分离结果更简单、更直接的分析方法。

提出的方法

• 利用信息论论证来界定在局部差分隐私下实现准确估计所需的最小样本量。
• 构建单纯形上线性优化问题的一个困难实例，以推导样本复杂度的下界。
• 通过从指数机制到线性优化问题的约化，将两个问题之间的下界相互转移。
• 应用Fano型不等式和互信息论证，刻画局部隐私协议的根本极限。
• 证明技术避免了复杂的组合构造，转而依赖于单纯形上的几何与概率推理。
• 该框架具有足够的通用性，可同时适用于非交互式局部协议和指数机制。

实验结果

研究问题

• RQ1 对于单纯形上非交互式局部差分隐私协议的线性优化，样本复杂度的最紧可能下界是什么？
• RQ2 与中心模型相比，局部差分隐私的样本复杂度在维度上如何扩展？
• RQ3 能否对自然问题实现局部与中心模型之间指数分离的定量紧致化？
• RQ4 在局部差分隐私下实现指数机制所需的最小样本量是多少，且保证常数因子最优？
• RQ5 能否通过更简单的证明技术在不依赖复杂构造的情况下获得紧致界？

主要发现

• 本文建立了在单纯形上非交互式局部差分隐私线性优化的样本复杂度的紧致下界，常数因子内最优。
• 该下界意味着在局部差分隐私下，指数机制也具有相应的紧致下界。
• 与中心模型中多项式量级的缩放不同，局部模型中的样本复杂度随维度呈指数增长。
• 该结果揭示了此类问题中局部模型与中心模型之间存在指数级差距，且定量上被证实为紧致。
• 该证明技术比先前方法更简单、更直接，例如相较于用于奇偶函数PAC学习的方法。
• 研究结果填补了早期工作中留下的定量差距，为高维优化中局部隐私的成本提供了清晰的刻画。