[论文解读] Randomized Response Mechanisms for Differential Privacy Data Analysis: Bounds and Applications

Fei Ma, Ping Wang|arXiv (Cornell University)|Dec 14, 2021

Privacy-Preserving Technologies in Data被引用 4

一句话总结

本文提出了一套基于三元素随机响应（RR₃）机制的有原则性框架，用于在局部微差隐私（LDP）下实现无偏估计，重点针对加权二分图分析。推导了期望与方差的闭式解，通过优化参数以最小化方差，并表明LDP机制可能无意中消耗隐私预算，导致隐私保护强度超过顺序组合所暗示的水平。

ABSTRACT

Randomized response, as a basic building-block for differentially private mechanism, has given rise to great interest and found various potential applications in science communities. In this work, we are concerned with three-elements randomized response (RR$_{3}$) along with relevant applications to the analysis of weighted bipartite graph upon differentially private guarantee. We develop a principled framework for estimating statistics produced by RR$_{3}$-based mechanisms, and then prove the corresponding estimations to be unbiased. At the same time, we study in detail several fundamental and significant members in RR$_{3}$ family, and derive the closed-form solutions to unbiased estimations. Next, we show potential applications of several RR$_{3}$-based mechanisms into the estimation of average degree and average weighted value on weighted bipartite graph when requiring local differential privacy guarantee. In the meantime, we determine the lower bounds for choice of relevant parameters by minimizing variance of statistics in order to design optimal RR$_{3}$-based local differential private mechanisms, with which we optimize previous protocols in the literature and put forward a version that achieves the tight bound. Last but most importantly, we observe that in the analysis of relational data such as weighted bipartite graph, a portion of privacy budget in local differential private mechanism is sometimes "consumed" by mechanism itself accidentally, resulting to a more stronger privacy guarantee than we would get by simply sequential compositions.

研究动机与目标

• 开发一个统一框架，用于在局部微差隐私（LDP）下，从三元素随机响应（RR₃）机制中估计统计量。
• 推导在加权二分图中，对平均度数和平均加权值等关键统计量进行无偏估计的闭式解。
• 通过最小化方差，优化基于RR₃的机制，从而实现更紧致的隐私-效用权衡。
• 研究一种反直觉现象：LDP机制无意中消耗隐私预算，导致隐私保护强度超过顺序组合所暗示的水平。
• 通过提出达到方差理论下限的最优RR₃机制，改进现有协议。

提出的方法

• 应用最大似然估计（MLE）推导基于RR₃估计器的期望与方差的闭式表达式。
• 分析四种基本RR₃机制：EWRR₃、RR₃†、RR₃‡和RR₃♣，以刻画其统计特性。
• 通过最小化估计器的方差，推导RR₃机制的最优参数设置，确保实现最紧致的隐私-效用平衡。
• 将优化后的RR₃机制应用于在LDP下估计加权二分图中的平均度数和平均加权值。
• 证明隐私预算不仅被查询消耗，还被机制本身部分消耗，导致隐私保护强度超过顺序组合所预测的水平。
• 通过在LDP约束下对关系数据结构（特别是加权二分图）的分析，验证理论发现。

实验结果

研究问题

• RQ1 在加权二分图中，使用RR₃机制对平均度数和平均加权值进行无偏估计的闭式解是什么？
• RQ2 如何优化RR₃机制的参数以最小化方差，并实现最紧致的隐私-效用权衡？
• RQ3 机制引起的隐私预算消耗对LDP环境中整体隐私保证有何影响？
• RQ4 基于RR₃的机制与现有协议相比，在估计准确性和隐私效率方面表现如何？
• RQ5 LDP机制中观察到的‘意外’隐私预算消耗现象，是否会导致隐私保护强度超过顺序组合所暗示的水平？

主要发现

• 本文推导出在四种基本RR₃机制（EWRR₃、RR₃†、RR₃‡和RR₃♣）下，估计器的期望与方差的精确闭式解。
• 通过最小化方差，推导出EWRR₃的最优参数设置，所得机制达到估计误差的理论下限。
• 分析表明，机制在数据收集过程中自身消耗了一部分隐私预算，导致隐私保护强度超过顺序组合所预测的水平。
• 所提出的优化RR₃机制优于文献中已有协议，在估计方差上实现了更紧致的界限。
• 该框架能够在保持局部微差隐私的前提下，实现对加权二分图中平均度数和平均加权值的准确估计。
• 研究结果表明，在LDP中的机制设计应考虑内部隐私消耗，因为它可能导致超越标准组合定理的隐私保护增强。