[论文解读] Private Convex Optimization via Exponential Mechanism

Sivakanth Gopi, Yin Tat Lee+1 more|arXiv (Cornell University)|Mar 1, 2022

Privacy-Preserving Technologies in Data被引用 4

一句话总结

该论文提出了一种用于私有凸优化的正则化指数机制，在 $(\varepsilon,\delta)$-差分隐私下实现了最优的多余经验风险与总体风险。通过添加 $\ell_2^2$ 正则项并从强对数凹分布中采样，该方法实现了高效的优化，仅需 $\widetilde{O}(n\min(d,n))$ 次函数查询，与一个近乎紧致的下界相匹配。

ABSTRACT

In this paper, we study private optimization problems for non-smooth convex functions $F(x)=\mathbb{E}_i f_i(x)$ on $\mathbb{R}^d$. We show that modifying the exponential mechanism by adding an $\ell_2^2$ regularizer to $F(x)$ and sampling from $π(x)\propto \exp(-k(F(x)+μ\|x\|_2^2/2))$ recovers both the known optimal empirical risk and population loss under $(ε,δ)$-DP. Furthermore, we show how to implement this mechanism using $\widetilde{O}(n \min(d, n))$ queries to $f_i(x)$ for the DP-SCO where $n$ is the number of samples/users and $d$ is the ambient dimension. We also give a (nearly) matching lower bound $\widetildeΩ(n \min(d, n))$ on the number of evaluation queries. Our results utilize the following tools that are of independent interest: (1) We prove Gaussian Differential Privacy (GDP) of the exponential mechanism if the loss function is strongly convex and the perturbation is Lipschitz. Our privacy bound is \emph{optimal} as it includes the privacy of Gaussian mechanism as a special case and is proved using the isoperimetric inequality for strongly log-concave measures. (2) We show how to sample from $\exp(-F(x)-μ\|x\|^2_2/2)$ for $G$-Lipschitz $F$ with $η$ error in total variation (TV) distance using $\widetilde{O}((G^2/μ) \log^2(d/η))$ unbiased queries to $F(x)$. This is the first sampler whose query complexity has \emph{polylogarithmic dependence} on both dimension $d$ and accuracy $η$.

研究动机与目标

• 开发一种用于非光滑凸函数 $F(x) = \mathbb{E}_i f_i(x)$ 的差分隐私优化框架，使其在 $(\varepsilon,\delta)$-差分隐私下实现最优效用。
• 通过引入正则化变体，弥合指数机制与噪声梯度下降在私有凸优化中查询复杂度的差距。
• 建立私有优化所需函数查询数的紧致上下界，实现近乎最优的效率。
• 设计一种新的采样算法，其对维度 $d$ 和精度 $\eta$ 的依赖为多对数级，从而实现正则化机制的高效实现。

提出的方法

• 该方法通过添加 $\ell_2^2$ 正则项对指数机制进行修改，从 $\pi(x) \propto \exp(-k(F(x) + \mu\|x\|_2^2/2))$ 中采样，以确保强凸性并提升隐私保障。
• 在强凸性和利普希茨扰动条件下，利用强对数凹测度的等周不等式，证明了该正则化机制的高斯差分隐私（GDP）。
• 提出一种新颖的采样算法，通过 $\widetilde{O}((G^2/\mu)\log^2(d/\eta))$ 次对 $F(x)$ 的无偏查询，实现总变差距离上的 $\eta$-精度，且对 $d$ 和 $\eta$ 的依赖为多对数级。
• 该框架在 $(\varepsilon,0)$-DP 下实现了最优的多余经验风险 $O(GDd/(n\varepsilon))$，在 $(\varepsilon,\delta)$-DP 下实现了 $O(GD\sqrt{d\log(1/\delta)}/(n\varepsilon))$ 的多余总体风险，与已知下界一致。
• 建立了对查询复杂度的近乎匹配的下界 $\widetilde{\Omega}(n\min(d,n))$，表明该方法在函数评估次数上近乎最优。

实验结果

研究问题

• RQ1 指数机制能否通过正则化实现非光滑私有凸优化中的最优隐私-效用权衡？
• RQ2 在差分隐私下，从正则化指数机制中采样的最优查询复杂度是多少？
• RQ3 能否设计一种对维度 $d$ 和精度 $\eta$ 为多对数复杂度的采样算法，适用于 $G$-利普希茨凸函数？
• RQ4 正则化指数机制是否在 $(\varepsilon,\delta)$-DP 下同时实现了最优的经验风险与总体风险？
• RQ5 私有凸优化所需的函数查询数的信息论下界是什么？

主要发现

• 正则化指数机制在 $(\varepsilon,0)$-DP 下实现了最优的多余经验风险 $O(GDd/(n\varepsilon))$，与目前已知的最佳上界一致。
• 在 $(\varepsilon,\delta)$-DP 下，该方法实现了 $O(GD\sqrt{d\log(1/\delta)}/(n\varepsilon))$ 的多余总体风险，该结果为最优，与噪声梯度下降的性能一致。
• 所提出的采样算法通过 $\widetilde{O}((G^2/\mu)\log^2(d/\eta))$ 次查询实现了总变差距离上的 $\eta$-精度，且对 $d$ 和 $\eta$ 的依赖为多对数级，相较于先前方法有显著改进。
• 该方法的查询复杂度为 $\widetilde{O}(n\min(d,n))$，与函数评估次数的近乎紧致下界 $\widetilde{\Omega}(n\min(d,n))$ 相匹配。
• 建立了近乎匹配的下界 $\widetilde{\Omega}(n\min(d,n))$，表明该方法在查询复杂度方面近乎最优。