[论文解读] Understanding the Sparse Vector Technique for Differential Privacy

Min Lyu, Dong Su+1 more|arXiv (Cornell University)|Mar 5, 2016

Privacy-Preserving Technologies in Data参考文献 23被引用 19

一句话总结

本文提出了一种经过修正、更具实用性的稀疏向量技术（SVT）版本，用于差分隐私，在交互式环境中通过优化阈值噪声与查询噪声之间的隐私预算分配，提升了准确性。该文指出，先前SVT变体中普遍存在错误，导致其隐私保证失效，并证明在非交互式环境中，指数机制（Exponential Mechanism）在准确性上优于SVT，因此在该场景下无需使用SVT。

ABSTRACT

The Sparse Vector Technique (SVT) is a fundamental technique for satisfying differential privacy and has the unique quality that one can output some query answers without apparently paying any privacy cost. SVT has been used in both the interactive setting, where one tries to answer a sequence of queries that are not known ahead of the time, and in the non-interactive setting, where all queries are known. Because of the potential savings on privacy budget, many variants for SVT have been proposed and employed in privacy-preserving data mining and publishing. However, most variants of SVT are actually not private. In this paper, we analyze these errors and identify the misunderstandings that likely contribute to them. We also propose a new version of SVT that provides better utility, and introduce an effective technique to improve the performance of SVT. These enhancements can be applied to improve utility in the interactive setting. Through both analytical and experimental comparisons, we show that, in the non-interactive setting (but not the interactive setting), the SVT technique is unnecessary, as it can be replaced by the Exponential Mechanism (EM) with better accuracy.

研究动机与目标

• 识别并纠正现有SVT变体中的根本性错误，这些错误使其无法满足差分隐私保证。
• 提出一种新型SVT变体，在相同隐私预算下减少噪声并提升实用性。
• 开发一种有效的隐私预算分配技术，用于在阈值噪声与查询噪声之间实现最优分配。
• 澄清导致SVT应用中出现错误隐私证明的常见误解与混淆。
• 比较SVT与指数机制（EM）在非交互式环境下的表现，并确定何种情况下更具优势。

提出的方法

• 提出一种新型SVT算法（算法1），通过调整阈值和查询扰动中的噪声尺度，在相同隐私参数ε下减少噪声。
• 引入一种新颖的隐私预算分配策略，根据预期的正向结果数量，动态地将更多预算分配给查询噪声，更少分配给阈值噪声。
• 采用重遍历技术，通过在初始估计值超过阈值时迭代优化查询答案，从而提升SVT性能。
• 通过分析与实验对比，验证新SVT版本的隐私正确性，并与现有变体及EM进行性能基准测试。
• 在非交互式环境中将指数机制（EM）作为基线，以证明其在准确性上优于SVT。
• 采用SER（选择错误率）作为关键指标，评估交互式与非交互式环境中查询选择的准确性。

实验结果

研究问题

• RQ1 为何许多现有SVT变体尽管声称已证明，却仍无法满足差分隐私？
• RQ2 如何在SVT中对阈值噪声与查询噪声之间的隐私预算进行最优分配，以最大化实用性？
• RQ3 能否通过高误差估计的查询重遍历技术来提升SVT性能？
• RQ4 在非交互式环境中，SVT是否仍是选择答案最高前k项查询的最优选择？
• RQ5 在相同隐私预算下，指数机制是否在非交互式查询选择中提供优于SVT的准确性？

主要发现

• 多个先前研究中使用的标准SVT变体（例如[13, 18, 1]）并不满足差分隐私，导致其隐私声明无效。
• 所提出的采用1:c²⁄³预算分配的SVT版本，在准确性上显著优于标准的1:1分配，例如在AOL数据集上c=150时，SER从1:1的0.99降低至0.59。
• 重遍历技术可提升SVT性能，但即使在最优阈值增量下，其性能仍逊于非交互式环境中的指数机制。
• 在非交互式环境中，指数机制在AOL数据集上c=150时的SER为0.15，而采用1:c²⁄³分配的SVT为0.59，充分证明EM在准确性上的优势。
• [2]中声称GPTT违反DP的证明是错误的，作者指出了该论证中的缺陷。
• 所提出的采用优化预算分配与降噪的SVT在交互式环境中，其实用性优于当前最先进的SVT。