[论文解读] On Differentially Private Stochastic Convex Optimization with Heavy-tailed Data

Di Wang, Hanshen Xiao+2 more|arXiv (Cornell University)|Oct 21, 2020

Stochastic Gradient Optimization Techniques被引用 11

一句话总结

本论文为重尾数据提出了差异私密随机凸优化（DP-SCO）算法，其中标准假设（如有界梯度或利普希茨损失函数）不成立。它引入了一种梯度裁剪与平滑框架，在仅假设梯度二阶矩有界的条件下，以高概率实现了强凸损失的额外种群风险界为 $\tilde{O}(\frac{d^2}{n\epsilon^2})$，以及一般凸损失的 $\tilde{O}(\frac{d^{2/3}}{(n\epsilon^2)^{1/3}})$。

ABSTRACT

In this paper, we consider the problem of designing Differentially Private (DP) algorithms for Stochastic Convex Optimization (SCO) on heavy-tailed data. The irregularity of such data violates some key assumptions used in almost all existing DP-SCO and DP-ERM methods, resulting in failure to provide the DP guarantees. To better understand this type of challenges, we provide in this paper a comprehensive study of DP-SCO under various settings. First, we consider the case where the loss function is strongly convex and smooth. For this case, we propose a method based on the sample-and-aggregate framework, which has an excess population risk of $ ilde{O}(\frac{d^3}{nε^4})$ (after omitting other factors), where $n$ is the sample size and $d$ is the dimensionality of the data. Then, we show that with some additional assumptions on the loss functions, it is possible to reduce the extit{expected} excess population risk to $ ilde{O}(\frac{ d^2}{ nε^2 })$. To lift these additional conditions, we also provide a gradient smoothing and trimming based scheme to achieve excess population risks of $ ilde{O}(\frac{ d^2}{nε^2})$ and $ ilde{O}(\frac{d^\frac{2}{3}}{(nε^2)^\frac{1}{3}})$ for strongly convex and general convex loss functions, respectively, extit{with high probability}. Experiments suggest that our algorithms can effectively deal with the challenges caused by data irregularity.

研究动机与目标

• 解决现有DP-SCO方法在重尾数据上失效的问题，原因在于无界的梯度违反了标准假设。
• 研究在重尾数据分布下DP-SCO的理论极限，其中损失函数可能缺乏利普希茨性或有界范数性质。
• 设计新型差异私密算法，即使在数据或梯度为重尾时也能保持实用性。
• 在最小假设下（如梯度的二阶矩有界）提供额外种群风险界。
• 在合成数据和真实世界重尾数据集上验证所提算法的有效性。

提出的方法

• 为强凸且光滑的损失函数提出一种样本-聚合框架，在标准假设下实现 $\tilde{O}(\frac{d^3}{n\epsilon^4})$ 的额外风险。
• 在次指数和利普希茨梯度假设下，引入基于梯度下降的算法并结合私有的一维均值估计（Bun & Steinke, 2019），实现 $\tilde{O}(\frac{d^2\log(1/\delta)}{n\epsilon^2})$ 的期望额外风险。
• 设计一种梯度裁剪与平滑机制（算法4），在无需强假设的条件下处理无界梯度，仅依赖于梯度的二阶矩有界性。
• 通过裁剪限制极端梯度的影响，确保差异私密性的同时保持实用性。
• 利用高概率浓度不等式，推导出在一般凸和强凸损失函数下的风险保证。
• 整合私有均值估计技术以提升在高维、重尾设定下的鲁棒性。

实验结果

研究问题

• RQ1 当数据或梯度为重尾时，违反标准有界性假设，能否有效执行差异私密随机凸优化？
• RQ2 在最小假设（如仅梯度的二阶矩有界）下，可实现怎样的额外种群风险界？
• RQ3 当标准利普希茨或有界范数假设因重尾数据而失效时，DP-SCO的性能会如何退化？
• RQ4 在重尾设定下，梯度裁剪与平滑策略能否作为现有输出或梯度扰动方法的稳健替代方案？
• RQ5 在重尾DP-SCO中，隐私参数（$\epsilon, \delta$）、维度（$d$）、样本量（$n$）与额外风险之间的权衡是什么？

主要发现

• 对于强凸且光滑的损失函数，样本-聚合方法以高概率实现 $\tilde{O}(\frac{d^3}{n\epsilon^4})$ 的额外种群风险。
• 在次指数和利普希茨梯度假设下，基于梯度下降的算法实现 $\tilde{O}(\frac{d^2\log(1/\delta)}{n\epsilon^2})$ 的期望额外风险。
• 在仅假设梯度二阶矩有界的条件下，基于裁剪的算法以高概率实现强凸损失的 $\tilde{O}(\frac{d^2\log(1/\delta)}{n\epsilon^2})$ 额外风险。
• 对于相同假设下的通用凸损失，该算法以高概率实现 $\tilde{O}(\frac{d^{2/3}\log(1/\delta)}{(n\epsilon^2)^{1/3}})$ 的额外风险。
• 在合成数据集和真实世界（Adult）数据集上的实验表明，基于裁剪的算法（算法4）性能与非私有方法相当，并对重尾噪声具有鲁棒性。
• 先验依赖型算法（算法3）的性能对先验强度 $\kappa$ 敏感，表明在重尾条件下存在不稳定性，而算法4展现出一致且可扩展的性能。