[论文解读] Tight Lower Bounds for Differentially Private Selection

Thomas Steinke, Jonathan Ullman|arXiv (Cornell University)|Apr 10, 2017

Privacy-Preserving Technologies in Data参考文献 26被引用 5

一句话总结

本文建立了在最小准确度要求下，从 d 个选项中对 top-k 项进行差分隐私选择所需的样本复杂度的紧下界 Ω(√k log d)。作者将指纹识别方法扩展至稀疏选择问题，证明了现有算法（如指数机制和稀疏向量技术）无法实现更优的样本复杂度，从而解决了差分隐私领域长期存在的一个开放问题。

ABSTRACT

A pervasive task in the differential privacy literature is to select the $k$ items of "highest quality" out of a set of $d$ items, where the quality of each item depends on a sensitive dataset that must be protected. Variants of this task arise naturally in fundamental problems like feature selection and hypothesis testing, and also as subroutines for many sophisticated differentially private algorithms. The standard approaches to these tasks---repeated use of the exponential mechanism or the sparse vector technique---approximately solve this problem given a dataset of $n = O(\sqrt{k}\log d)$ samples. We provide a tight lower bound for some very simple variants of the private selection problem. Our lower bound shows that a sample of size $n = Ω(\sqrt{k} \log d)$ is required even to achieve a very minimal accuracy guarantee. Our results are based on an extension of the fingerprinting method to sparse selection problems. Previously, the fingerprinting method has been used to provide tight lower bounds for answering an entire set of $d$ queries, but often only some much smaller set of $k$ queries are relevant. Our extension allows us to prove lower bounds that depend on both the number of relevant queries and the total number of queries.

研究动机与目标

• 建立从 d 个选项中对 top-k 项进行差分隐私选择所需的样本复杂度的紧下界。
• 解决差分隐私领域的一个基本开放问题：现有 top-k 选择算法的样本复杂度是否可超越 O(√k log d)。
• 将此前用于回答全部 d 个查询的指纹识别方法，扩展至仅 k 个相关查询重要的稀疏选择问题。
• 证明标准方法（如指数机制和稀疏向量技术）实现的 O(√k log d) 样本复杂度在渐近意义上是最优的。
• 在乘积分布和每个选定坐标的常数误差下分析该问题，表明即使是最小准确度要求，也需达到此样本规模。

提出的方法

• 将原本用于回答全部 d 个查询的下界分析中所用的指纹识别技术，扩展至仅 k 个查询相关的稀疏选择问题。
• 提出一种新的分析框架，同时考虑总查询数 d 和相关查询数 k。
• 在 {0,1}^d 上构造一个乘积分布，其中恰好 2k/d 的坐标满足 p_j ≥ 7/8，以构建选择问题的困难分布。
• 对期望选择性能进行两部分分析：一部分针对满足 p_j ≤ 11/16 的坐标，另一部分针对满足 p_j > 11/16 的坐标，使用条件期望。
• 利用差分隐私约束，限制选择低均值坐标的概率，从而导出输出选择器期望范数的下界。
• 结合集中不等式与隐私约束，通过在所选集合期望效用上的反证法，推导出样本复杂度的下界。

实验结果

研究问题

• RQ1 现有差分隐私 top-k 选择算法的 O(√k log d) 样本复杂度是否最优？
• RQ2 指纹识别方法能否被适配以提供仅 k 个查询相关的稀疏选择问题的下界？
• RQ3 在每个选定坐标仅需常数误差的前提下，选择 k 个均值至少为 7/8 的项，其最小样本复杂度是多少？
• RQ4 在稀疏选择设置下，样本复杂度是否依赖于 d 和 k，还是仅依赖于 d？
• RQ5 能否通过 o(√k log d) 个样本，使差分隐私算法在每个选定坐标上实现常数误差？

主要发现

• 本文证明了在最小准确度要求下，差分隐私 top-k 选择的样本复杂度存在紧下界 Ω(√k log d)。
• 该下界适用于乘积分布，并适用于任何选择 k 个坐标且总误差不超过 k/10 的差分隐私算法。
• 结果表明，指数机制和稀疏向量技术等现有算法在样本复杂度方面是渐近最优的。
• 指纹识别方法成功扩展至稀疏选择问题，使得依赖于 d 和 k 的下界成为可能。
• 分析表明，即使在每个选定坐标仅需常数误差且满足 (1, 1/nd)-差分隐私的条件下，Ω(√k log d) 的样本数仍是必需的。
• 该下界是紧的，与目前已知的最佳上界完全匹配，从而解决了差分隐私领域长期存在的一个开放问题。