[论文解读] The Sparse Vector Technique, Revisited

Haim Kaplan, Yishay Mansour+1 more|arXiv (Cornell University)|Oct 2, 2020

Privacy-Preserving Technologies in Data参考文献 29被引用 4

一句话总结

本文重新审视了差分隐私中的稀疏向量技术，提出了一种新算法 ThresholdMonitorEvolving，可在显著改进误差保证的前提下实现对动态数据流的私有查询。通过聚焦于单个用户贡献而非总查询偏差，该方法使误差规模与单个用户成为热点项的最多次数成正比，而非热点项事件的总数，从而在热点项频繁变动的工作负载中实现了更强的实用性。

ABSTRACT

We revisit one of the most basic and widely applicable techniques in the literature of differential privacy - the sparse vector technique [Dwork et al., STOC 2009]. This simple algorithm privately tests whether the value of a given query on a database is close to what we expect it to be. It allows to ask an unbounded number of queries as long as the answer is close to what we expect, and halts following the first query for which this is not the case. We suggest an alternative, equally simple, algorithm that can continue testing queries as long as any single individual does not contribute to the answer of too many queries whose answer deviates substantially form what we expect. Our analysis is subtle and some of its ingredients may be more widely applicable. In some cases our new algorithm allows to privately extract much more information from the database than the original. We demonstrate this by applying our algorithm to the shifting heavy-hitters problem: On every time step, each of $n$ users gets a new input, and the task is to privately identify all the current heavy-hitters. That is, on time step $i$, the goal is to identify all data elements $x$ such that many of the users have $x$ as their current input. We present an algorithm for this problem with improved error guarantees over what can be obtained using existing techniques. Specifically, the error of our algorithm depends on the maximal number of times that a single user holds a heavy-hitter as input, rather than the total number of times in which a heavy-hitter exists.

研究动机与目标

• 改进动态数据环境中不同差分隐私查询回答的实用性，特别是针对热点项频繁变动的工作负载。
• 解决现有稀疏向量技术在有意义查询总数增加时性能下降的局限性。
• 设计一种新算法，在追踪单个用户贡献的基础上，维持隐私的同时提供更具信息量的响应。
• 通过依赖单个用户成为热点项的最大次数而非此类事件的总数，实现热点项变动问题中更优的误差界。

提出的方法

• 提出 ThresholdMonitorEvolving，一种新颖的差分隐私算法，将稀疏向量技术适配于动态数据流。
• 采用经修改的阈值机制，根据单个用户对查询偏差的贡献动态调整。
• 使用虚构游戏分析（FicGame）证明 $(\varepsilon,\delta)$-差分隐私，通过模拟固定数据库来应对数据演化。
• 应用拉普拉斯机制，噪声规模按 $\tilde{O}(\sqrt{k^*}/\varepsilon)$ 调整，其中 $k^*$ 是任意单个用户成为热点项的最大次数。
• 将误差依赖关系从有意义查询的总数减少到单个用户成为热点项的最高频率。
• 将动态数据流映射为静态数据库游戏，利用组合与高级分析技术保持隐私保证。

实验结果

研究问题

• RQ1 稀疏向量技术能否被重新构想，以在动态数据环境中实现更私密且更具信息量的查询回答？
• RQ2 聚焦于单个用户贡献而非全局查询偏差，是否能提升差分隐私计算中的实用性？
• RQ3 通过依赖单个用户成为热点项的最大频率而非此类事件的总数，能否改进热点项变动问题中的误差界？
• RQ4 在动态数据工作负载中，能否在支持无界查询序列的同时维持强隐私保证？
• RQ5 新算法能否在热点项变动场景中实现优于现有技术的误差缩放性能？

主要发现

• 所提算法在热点项变动问题中实现误差 $O(\tau(k^*))$，其中 $\tau(k^*) = \tilde{O}\left(\frac{\sqrt{k^*}}{\varepsilon} \cdot \log\left(\frac{1}{\delta}\right) \cdot \log\left(\frac{m \cdot |X|}{\beta}\right)\right)$，且 $k^*$ 为任意单个用户成为热点项的最大次数。
• 误差依赖于 $k^*$，即单个用户对热点项贡献的最大次数，而非热点项存在的总时间步数。
• 即使 $k^*$ 的假设不成立，该算法仍能维持 $(\varepsilon,\delta)$-差分隐私，确保强大的隐私保障。
• 实用性分析依赖于拉普拉斯噪声的集中性，确保所有噪声实现均以高概率 $1 - \beta$ 落在 $\tau(k^*)$ 以内。
• 隐私证明使用虚构游戏（FicGame）模拟固定数据库，实现动态与静态执行之间的等价性。
• 该方法支持在无界数据流上进行私有查询回答，且误差缩放性能显著优于以往基于组合的方法。