[论文解读] Optimal Algorithms for Mean Estimation under Local Differential Privacy

Hilal Asi, Vitaly Feldman+1 more|arXiv (Cornell University)|May 5, 2022

Privacy-Preserving Technologies in Data被引用 4

一句话总结

该论文证明，经过参数优化的 PrivUnit 在局部差分隐私下实现了均值估计的最小可能方差，证明其在广泛的一类非交互式、无偏协议中为最优。此外，论文提出 PrivUnitG——一种基于高斯分布的变体——可实现最优误差常数的精确解析计算，并证实当 $ \varepsilon \to \infty $ 时，渐近最优常数 $ C^* \approx 0.614 $。结果通过局部随机化器上的对称化与线性规划技术推导得出。

ABSTRACT

We study the problem of mean estimation of $\ell_2$-bounded vectors under the constraint of local differential privacy. While the literature has a variety of algorithms that achieve the asymptotically optimal rates for this problem, the performance of these algorithms in practice can vary significantly due to varying (and often large) hidden constants. In this work, we investigate the question of designing the protocol with the smallest variance. We show that PrivUnit (Bhowmick et al. 2018) with optimized parameters achieves the optimal variance among a large family of locally private randomizers. To prove this result, we establish some properties of local randomizers, and use symmetrization arguments that allow us to write the optimal randomizer as the optimizer of a certain linear program. These structural results, which should extend to other problems, then allow us to show that the optimal randomizer belongs to the PrivUnit family. We also develop a new variant of PrivUnit based on the Gaussian distribution which is more amenable to mathematical analysis and enjoys the same optimality guarantees. This allows us to establish several useful properties on the exact constants of the optimal error as well as to numerically estimate these constants.

研究动机与目标

• 确定在局部差分隐私下均值估计方差最小的协议，尤其关注渐近误差率中隐藏常数的最小化。
• 通过对称化与线性规划技术，刻画最优局部随机化器的结构，实现精确的最优性证明。
• 提出一种新算法 PrivUnitG，基于正态分布，保持最优性保证的同时，允许对误差常数进行精确的数学分析。
• 在高维设置下，对最优误差中的精确常数进行数值与解析估计。
• 证明最优误差常数在 $ \varepsilon \to \infty $ 时收敛至 $ C^* \approx 0.614 $，为实际实现提供基准。

提出的方法

• 作者定义了一类非交互式、无偏协议，并分析其最坏情况下的均方误差，通过引入对称化将优化问题转化为线性规划问题。
• 证明最优随机化器必须满足特定的对称性与不变性性质，从而可将问题表述为概率分布上的约束优化。
• 通过分析最优随机化器的结构，表明其属于 PrivUnit 家族，从而证明经过参数优化的 PrivUnit 在该类协议中为最优。
• 提出 PrivUnitG，一种基于正态分布的变体，其参数化方式与维度无关，简化了分析过程，并允许对误差常数进行精确计算。
• 推导出 PrivUnitG 与 PrivUnit 之间误差常数比值的上界，证明二者在 $ d \to \infty $ 时渐近等价。
• 利用高斯分布与球面对称随机变量的浓度不等式及尾部概率界，比较 PrivUnit 与 PrivUnitG 的性能，建立 $ \sqrt{\mathsf{Err}_G / \mathsf{Err}_2} \leq 1 + O\left(\sqrt{\frac{\varepsilon + \log d}{d}}\right) $。

实验结果

研究问题

• RQ1 在 $ \varepsilon $-局部差分隐私下，均值估计的最优局部随机化器是什么？能否显式刻画？
• RQ2 经过参数优化的 PrivUnit 是否在所有非交互式、无偏协议中实现最小可能方差？
• RQ3 基于正态分布的 PrivUnit 变体能否在保持与 PrivUnit 相同渐近误差的同时，实现误差常数的精确解析计算？
• RQ4 当隐私参数 $ \varepsilon \to \infty $ 且维度 $ d \to \infty $ 时，最优误差常数的行为如何？
• RQ5 最优误差常数 $ C^* $ 的极限值是多少？常数 $ C_{\varepsilon,d} $ 收敛至该极限的速度如何？

主要发现

• 经过参数优化的 PrivUnit 在 $ \varepsilon $-局部差分隐私下，对均值估计的方差在一大类局部私有随机化器中达到最优。
• 通过将优化问题进行对称化与线性规划重构，证明最优随机化器属于 PrivUnit 家族。
• PrivUnitG 作为 PrivUnit 的高斯变体，在 $ d \to \infty $ 时与 PrivUnit 的渐近误差相差一个 $ (1+o(1)) $ 因子，从而实现对误差常数的精确分析。
• 最优误差常数 $ C_{\varepsilon,d} $ 随 $ d \to \infty $ 收敛至 $ C_{\varepsilon} $，收敛速度为 $ O\left(\frac{\varepsilon + \log d}{d}\right) $。
• 极限常数 $ C^* = \lim_{\varepsilon \to \infty} C_{\varepsilon} $ 存在，且约为 $ 0.614 $，为高隐私场景下的最佳可能误差提供了精确基准。
• PrivUnitG 与 PrivUnit 之间误差常数的比值被限制在 $ 1 + O\left(\sqrt{\frac{\varepsilon + \log d}{d}}\right) $ 以内，证实二者渐近等价。