[论文解读] PrivMin: Differentially Private MinHash for Jaccard Similarity Computation

Ziqi Yan, Jiqiang Liu+3 more|arXiv (Cornell University)|May 20, 2017

Privacy-Preserving Technologies in Data参考文献 21被引用 7

一句话总结

本文提出PrivMin，一种用于Jaccard相似度计算的差分隐私MinHash算法，可在严格保证$ε$-差分隐私的同时保持较高的实用性。该方法引入两种新颖的私有化操作：在MinHash值生成过程中注入指数噪声，以及基于随机响应的MinHash步骤选择机制，实现在真实数据集上隐私保护强度高且实用性损失最小化。

ABSTRACT

In many industrial applications of big data, the Jaccard Similarity Computation has been widely used to measure the distance between two profiles or sets respectively owned by two users. Yet, one semi-honest user with unpredictable knowledge may also deduce the private or sensitive information (e.g., the existence of a single element in the original sets) of the other user via the shared similarity. In this paper, we aim at solving the privacy issues in Jaccard similarity computation with strict differential privacy guarantees. To achieve this, we first define the Conditional $ε$-DPSO, a relaxed differential privacy definition regarding set operations, and prove that the MinHash-based Jaccard Similarity Computation (MH-JSC) satisfies this definition. Then for achieving strict differential privacy in MH-JSC, we propose the PrivMin algorithm, which consists of two private operations: 1) the Private MinHash Value Generation that works by introducing the Exponential noise to the generation of MinHash signature. 2) the Randomized MinHashing Steps Selection that works by adopting Randomized Response technique to privately select several steps within the MinHashing phase that are deployed with the Exponential mechanism. Experiments on real datasets demonstrate that the proposed PrivMin algorithm can successfully retain the utility of the computed similarity while preserving privacy.

研究动机与目标

• 解决基于MinHash的Jaccard相似度计算中，具备背景知识的半诚实用户可能推断出私有集合元素而导致的隐私泄露问题。
• 形式化一种适用于集合操作的宽松差分隐私定义——条件$ε$-DPSO，以分析基于MinHash的Jaccard相似度计算的隐私性。
• 设计一种实用的差分隐私算法（PrivMin），在相似度计算中保持高实用性。
• 证明PrivMin在不显著降低实用性的情况下，实现了强大的隐私保障，优于基线方法。

提出的方法

• 提出条件$ε$-DPSO，一种专为集合操作设计的宽松差分隐私定义，并证明MinHash-JSC满足该定义。
• 提出基于指数机制的私有MinHash值生成方法，直接在MinHash值计算过程中注入噪声。
• 通过随机响应技术实现私有化的MinHash步骤选择，以私密方式决定执行哪些MinHash步骤。
• 将上述两种操作整合至PrivMin算法中，确保Jaccard相似度计算管道端到端满足$ε$-差分隐私。
• 采用两阶段方法：首先私密生成MinHash签名；其次私密选择用于最终相似度估计的步骤。
• 通过在计算最细粒度层级注入噪声，而非扰动最终输出，从而保持实用性。

实验结果

研究问题

• RQ1 能否为集合操作制定一种宽松的差分隐私定义，以分析基于MinHash的Jaccard相似度计算的隐私性？
• RQ2 如何在不损害实用性的前提下，严格强制执行MinHash过程中的差分隐私？
• RQ3 噪声注入位置（特别是注入到MinHash值生成阶段）对隐私和实用性有何影响？
• RQ4 与在相似度计算后添加噪声的基线差分隐私方法相比，PrivMin的表现如何？
• RQ5 在实践中，哪些参数设置（如$\epsilon$、$K$）能最优地平衡隐私与实用性？

主要发现

• PrivMin通过在MinHash值生成过程中应用指数机制、在步骤选择中使用随机响应，实现了$ε$-差分隐私，确保了强大的隐私保障。
• 在所有数据集和参数设置下，PrivMin的均方误差（MSE）始终低于基线方法和MH-JSC，MSE值在$\epsilon=1.0$、$K=25$时最低可降至0.000016（Alpine Dale数据集）。
• 在$F1$分数方面，PrivMin在不同$\epsilon$和$K$设置下均保持稳定性能，当$\epsilon \leq 1.0$且$K \leq 20$，或$\epsilon \leq 0.8$且$K \leq 25$时，优于基线方法。
• 该算法对$K$的变化具有鲁棒性，实用性下降极小，表明在MinHash层级注入噪声比在计算后添加噪声更有效。
• PrivMin在实用性指标上显著优于基线方法：例如在Alpine Dale数据集上，当$\epsilon=0.01$时，MSE从基线的801.6931降至0.000055，实现14,576倍的性能提升。
• 结果表明，即使在强隐私预算下（$\epsilon \leq 1.0$），PrivMin仍能保持可接受的实用性，适用于隐私敏感场景的实际部署。