[论文解读] PCKV: Locally Differentially Private Correlated Key-Value Data Collection with Optimized Utility

Xiaolan Gu, Ming Li+3 more|arXiv (Cornell University)|Nov 28, 2019

Privacy-Preserving Technologies in Data被引用 38

一句话总结

本文提出 PCKV，一种本地差分隐私框架，用于在优化实用性的前提下收集相关的键值数据，包括 PCKV-UE 和 PCKV-GRR 机制以及一种 Padding-and-Sampling 采样策略。

ABSTRACT

Data collection under local differential privacy (LDP) has been mostly studied for homogeneous data. Real-world applications often involve a mixture of different data types such as key-value pairs, where the frequency of keys and mean of values under each key must be estimated simultaneously. For key-value data collection with LDP, it is challenging to achieve a good utility-privacy tradeoff since the data contains two dimensions and a user may possess multiple key-value pairs. There is also an inherent correlation between key and values which if not harnessed, will lead to poor utility. In this paper, we propose a locally differentially private key-value data collection framework that utilizes correlated perturbations to enhance utility. We instantiate our framework by two protocols PCKV-UE (based on Unary Encoding) and PCKV-GRR (based on Generalized Randomized Response), where we design an advanced Padding-and-Sampling mechanism and an improved mean estimator which is non-interactive. Due to our correlated key and value perturbation mechanisms, the composed privacy budget is shown to be less than that of independent perturbation of key and value, which enables us to further optimize the perturbation parameters via budget allocation. Experimental results on both synthetic and real-world datasets show that our proposed protocols achieve better utility for both frequency and mean estimations under the same LDP guarantees than state-of-the-art mechanisms.

研究动机与目标

• 在本地私有收集异构键值数据（键及其对应数值）时解决实用性与隐私之间的权衡。
• 利用键和值之间的相关性来改进隐私预算的组成并降低噪声。
• 提供具有单轮均值估计的非交互式机制，并针对大型键域改进采样。
• 在本地差分隐私（LDP）保证下实现近最优的隐私预算分配，以最小化均方误差。

提出的方法

• 提出一个统一的 PCKV 框架，包含两种机制：PCKV-UE（基于 Unary Encoding）和 PCKV-GRR（基于 Generalized Randomized Response）。
• 使用 Padding-and-Sampling 策略从拥有的键值对中为每个用户采样一个键值对，以处理大型键域。
• 实现一种相关扰动方案，使键和值的扰动不是独立的，从而实现更紧密的隐私预算组合。
• 推导一个非交互式均值估计器，通过对标定频率的加总来计算均值，并在低 epsilon 时使用经过校正的离群值处理。
• 对估计量的期望、均方误差（MSE）和渐近无偏性进行理论分析。
• 提供在紧凑预算组成下最小化 MSE 的近似最优预算分配公式，且存在闭式解。

实验结果

研究问题

• RQ1 当用户拥有多个键值对时，如何在满足 LDP 的前提下实现高实用性地收集键值数据？
• RQ2 键和值的相关扰动是否比独立扰动能实现更紧密的隐私预算组合？
• RQ3 一个非交互式的单轮均值估计器能否在 LDP 下实现键值数据的渐近无偏性？
• RQ4 在键和值扰动之间的最优预算分配，以在频率和均值估计中最小化 MSE，是怎样的？
• RQ5 Padding-and-Sampling 是否能在大型键域和真实世界数据集上提升实用性？

主要发现

• 在相同的 LDP 保证下，带有 PCKV-UE 和 PCKV-GRR 的 PCKV 框架在频率和均值估计的实用性均优于最先进的机制。
• 相关扰动比独立扰动产生更紧密的隐私预算组成，从而实现改进的隐私-实用性权衡。
• 提出并证明单轮均值估计器在对标定频率进行校正的均值的基础上具有渐近无偏性，并在低 epsilon 时进行离群值校正。
• Padding-and-Sampling 通过从拥有的键值对中采样一个键值对来提高大型键域的实用性。
• 闭式形式的近似最优预算分配优于简单的等分分配，在给定隐私约束下改善 MSE。
• 在合成数据和真实数据上的实验结果验证了理论分析和相对于 PrivKVM 及相关工作的实用性改进。