[论文解读] Private Non-smooth Empirical Risk Minimization and Stochastic Convex Optimization in Subquadratic Steps

Janardhan Kulkarni, Yin Tat Lee+1 more|arXiv (Cornell University)|Mar 29, 2021

Privacy-Preserving Technologies in Data参考文献 35被引用 6

一句话总结

本文提出了首个针对非光滑经验风险最小化（ERM）与随机凸优化（SCO）的差分隐私算法，其梯度复杂度低于二次方。通过结合子采样、Moreau-Yosida平滑化以及基于矩会计的新型隐私分析，该算法在 $O(N^{3/2}/d^{1/8} + N^2/d)$ 梯度查询下实现了最优的多余经验风险，解决了私有凸优化领域的一个开放问题。

ABSTRACT

We study the differentially private Empirical Risk Minimization (ERM) and Stochastic Convex Optimization (SCO) problems for non-smooth convex functions. We get a (nearly) optimal bound on the excess empirical risk and excess population loss with subquadratic gradient complexity. More precisely, our differentially private algorithm requires $O(\frac{N^{3/2}}{d^{1/8}}+ \frac{N^2}{d})$ gradient queries for optimal excess empirical risk, which is achieved with the help of subsampling and smoothing the function via convolution. This is the first subquadratic algorithm for the non-smooth case when $d$ is super constant. As a direct application, using the iterative localization approach of Feldman et al. \cite{fkt20}, we achieve the optimal excess population loss for stochastic convex optimization problem, with $O(\min\{N^{5/4}d^{1/8},\frac{ N^{3/2}}{d^{1/8}}\})$ gradient queries. Our work makes progress towards resolving a question raised by Bassily et al. \cite{bfgt20}, giving first algorithms for private ERM and SCO with subquadratic steps. We note that independently Asi et al. \cite{afkt21} gave other algorithms for private ERM and SCO with subquadratic steps.

研究动机与目标

• 通过实现次二次梯度复杂度，填补非光滑凸函数差分隐私 ERM 与 SCO 的研究空白。
• 解决 Bassily 等人（2020）提出的问题：是否能够以次二次步数求解私有 ERM 与 SCO。
• 设计一种差分隐私算法，使非光滑凸函数的多余经验风险与总体损失接近最优。
• 扩展先前关于私有 SGD 的工作，克服非光滑设置下 Moreau-Yosida 平滑化带来的计算低效问题。

提出的方法

• 通过 Moreau-Yosida 包络对非光滑凸函数进行平滑化，以支持高效的私有优化。
• 应用子采样与梯度裁剪，降低每次查询的隐私预算消耗。
• 采用矩会计技术进行更紧致的隐私分析，替代强组合定理。
• 设计一种具有自适应步长与噪声缩放机制的私有加速随机算法（Private AC-SA）。
• 利用迭代定位技术，将私有 ERM 结果转化为最优的 SCO 保证。
• 结合子采样与平滑化，在保持隐私与效用的同时降低梯度复杂度。

实验结果

研究问题

• RQ1 非光滑凸函数的差分隐私 ERM 是否能以次二次梯度复杂度求解？
• RQ2 在私有非光滑 ERM 中，隐私、效用与梯度复杂度之间的最优权衡是什么？
• RQ3 Moreau-Yosida 平滑化技术能否在私有设置中实现计算高效？
• RQ4 是否可能在次二次步数下实现私有 SCO 的最优多余总体损失？
• RQ5 子采样与隐私会计如何提升私有非光滑优化的效率？

主要发现

• 所提算法在 $O(\frac{N^{3/2}}{d^{1/8}} + \frac{N^2}{d})$ 梯度查询下，实现多余经验风险为 $O(GD(\frac{1}{\bar{N}} + \frac{\bar{d}\bar{\rho}}{\bar{N}^2\bar{\rho}}))$，与最优界仅相差对数因子。
• 对于强凸函数，算法在相同梯度复杂度下实现多余经验风险 $O\left(\frac{G^2}{\mu}(\frac{1}{N} + \frac{d\log(1/\delta)}{\varepsilon^2 N^2})\right)$。
• 该算法在 $O(\min\{N^{5/4}d^{1/8}, \frac{N^{3/2}}{d^{1/8}}\})$ 梯度查询下，实现了 SCO 的最优多余总体损失。
• 使用矩会计技术相比强组合定理显著降低了隐私损失膨胀，从而获得更紧的界。
• 该方法是首个在 $d$ 超过常数时，实现非光滑私有 ERM 与 SCO 的次二次梯度复杂度的算法。
• 该方法解决了 Bassily 等人（2020）提出的关于非光滑函数次二次私有优化的开放问题。