[论文解读] Utility-Optimized Local Differential Privacy Mechanisms for Distribution Estimation

Takao Murakami, Yusuke Kawamoto|arXiv (Cornell University)|Jul 30, 2018

Privacy-Preserving Technologies in Data参考文献 57被引用 16

一句话总结

本文提出了效用优化的本地差分隐私（ULDP），这是一种新颖的框架，通过区别对待敏感数据与非敏感数据，提升了本地差分隐私中的数据效用。通过仅对敏感值应用最小噪声，同时以高保真度保留非敏感数据，ULDP机制（如效用优化的随机化响应和带语义标签的个性化ULDP）相比标准LDP实现了显著更高的准确率，在低隐私需求环境下，当大多数数据为非敏感时，其性能接近非私有化方法。

ABSTRACT

LDP (Local Differential Privacy) has been widely studied to estimate statistics of personal data (e.g., distribution underlying the data) while protecting users' privacy. Although LDP does not require a trusted third party, it regards all personal data equally sensitive, which causes excessive obfuscation hence the loss of utility. In this paper, we introduce the notion of ULDP (Utility-optimized LDP), which provides a privacy guarantee equivalent to LDP only for sensitive data. We first consider the setting where all users use the same obfuscation mechanism, and propose two mechanisms providing ULDP: utility-optimized randomized response and utility-optimized RAPPOR. We then consider the setting where the distinction between sensitive and non-sensitive data can be different from user to user. For this setting, we propose a personalized ULDP mechanism with semantic tags to estimate the distribution of personal data with high utility while keeping secret what is sensitive for each user. We show theoretically and experimentally that our mechanisms provide much higher utility than the existing LDP mechanisms when there are a lot of non-sensitive data. We also show that when most of the data are non-sensitive, our mechanisms even provide almost the same utility as non-private mechanisms in the low privacy regime.

研究动机与目标

• 为解决标准本地差分隐私（LDP）的低效问题，即对所有数据统一添加噪声，无论其敏感性如何，导致效用损失过大。
• 设计仅对敏感数据提供与LDP等效隐私保证的隐私保护机制，从而提升数据效用。
• 实现个性化混淆机制，使用户可自行定义其敏感数据，支持个体间异质的隐私偏好。
• 从理论上和实证上证明ULDP机制相比现有LDP机制具有显著更高的效用，尤其当大多数数据为非敏感时。

提出的方法

• 提出ULDP作为LDP的松弛形式，仅对敏感数据施加差分隐私保证，通过将敏感值映射到特殊符号（如⊥）并以随机映射方式处理非敏感值来定义。
• 引入效用优化的随机化响应机制，对敏感响应确定性地报告“是”，对非敏感响应则以随机方式处理，从而提升估计准确率。
• 开发效用优化的RAPPOR机制，扩展RAPPOR以仅选择性地混淆敏感值，同时以最小噪声保留非敏感数据。
• 设计基于语义标签的个性化ULDP机制，使用户可自定义其敏感数据，实现用户特定的混淆策略。
• 采用两阶段估计流程：首先估计中间值（包括⊥）的分布，然后结合已知或估计的条件分布，恢复真实数据分布。
• 使用$l_1$损失作为效用度量，并推导估计误差的理论边界，表明误差取决于机制中的噪声以及条件分布估计的准确性。

实验结果

研究问题

• RQ1 我们能否设计一种本地差分隐私机制，通过区别对待敏感与非敏感数据，实现更强的效用？
• RQ2 如何在为敏感数据维持与LDP相同隐私保证的同时，最小化对非敏感数据的噪声？
• RQ3 当用户对不同数据值具有不同的隐私偏好时，个性化混淆机制是否能提升效用？
• RQ4 ULDP机制在估计准确率方面相比标准LDP机制的理论与实证性能增益如何？
• RQ5 在低隐私需求环境下，ULDP机制在多大程度上可接近非私有化机制的效用？

主要发现

• 当大部分数据为非敏感时，ULDP机制相比标准LDP机制实现了显著更高的效用，原因在于非敏感值上的噪声减少。
• 在低隐私需求环境（如ε = 0.1）下，ULDP机制的估计准确率几乎与非私有化机制相当，尤其当大多数数据为非敏感时。
• 带语义标签的个性化ULDP机制支持用户特定的隐私偏好，在异质数据环境中提升了效用。
• 理论分析表明，ULDP的$l_1$估计误差被限制为中间分布估计误差与敏感值条件分布估计误差之和。
• 在合成数据集和真实世界数据集（如美国人口普查数据）上的实证评估表明，ULDP机制在均方误差（MSE）方面优于标准LDP机制，尤其当敏感值数量减少时。
• 当非敏感数据占比高时，效用增益最为显著，表明ULDP能有效利用数据的非均匀性来提升效用。