[论文解读] Private Stochastic Convex Optimization with Optimal Rates

Raef Bassily, Vitaly Feldman+2 more|arXiv (Cornell University)|Jan 1, 2019

Stochastic Gradient Optimization Techniques被引用 56

一句话总结

本文確立了差分隱私隨機凸優化（SCO）的最優過量總體損失率，顯示其在對數因子範圍內與非私有情況下的 $1/\sqrt{n}$ 速率一致。透過利用演算法穩定性並改進現有的私有演算法，作者們彌補了私有與非私有 SCO 性能之間長期存在的差距。

ABSTRACT

We study differentially private (DP) algorithms for stochastic convex optimization (SCO). In this problem the goal is to approximately minimize the population loss given i.i.d.~samples from a distribution over convex and Lipschitz loss functions. A long line of existing work on private convex optimization focuses on the empirical loss and derives asymptotically tight bounds on the excess empirical loss. However a significant gap exists in the known bounds for the population loss. We show that, up to logarithmic factors, the optimal excess population loss for DP algorithms is equal to the larger of the optimal non-private excess population loss, and the optimal excess empirical loss of DP algorithms. This implies that, contrary to intuition based on private ERM, private SCO has asymptotically the same rate of $1/\sqrt{n}$ as non-private SCO in the parameter regime most common in practice. The best previous result in this setting gives rate of $1/n^{1/4}$. Our approach builds on existing differentially private algorithms and relies on the analysis of algorithmic stability to ensure generalization.

研究动机与目标

• 彌補差分隱私隨機凸優化（SCO）中已知的過量總體損失界限與非私有 SCO 之間的差距。
• 確定私有 SCO 在實際參數設定下是否繼承了與非私有 SCO 相同的收斂速率。
• 建立 DP 演算法最優過量總體損失的緊緻界限，從而解決私有優化中的一個開放問題。

提出的方法

• 作者利用演算法穩定性這一關鍵工具，分析差分隱私演算法的泛化性質，以界定了總體損失。
• 他們基於現有的私有優化演算法，並透過改進其分析以獲得更緊緻的泛化保障。
• 該方法涉及將過量總體損失與非私有的最優速率以及私有演算法的最優過量經驗損失聯繫起來。
• 透過結合穩定性分析與已知的私有經驗風險最小化結果，他們推導出最優總體損失速率的緊緻表徵。
• 他們證明最優過量總體損失為兩項的最大值：非私有的最優速率與私有經驗損失速率。
• 分析在標準假設下進行：損失函數為凸且Lipschitz，樣本獨立同分佈地來自某一分佈。

实验结果

研究问题

• RQ1 差分隱私隨機凸優化的最優過量總體損失率為何？
• RQ2 在實際設定中，私有 SCO 是否繼承了與非私有 SCO 相同的 $1/\sqrt{n}$ 收斂速率？
• RQ3 私有 SCO 的最優過量總體損失與私有演算法的最優過量經驗損失相比如何？
• RQ4 演算法穩定性能否用於緊緻表徵私有 SCO 中的泛化誤差？
• RQ5 私有與非私有 SCO 速率之間是否存在根本性差距，還是私有演算法可達成相同的漸近速率？

主要发现

• 差分隱私隨機凸優化之最優過量總體損失，於對數因子範圍內，等於非私有最優過量總體損失與私有演算法最優過量經驗損失的最大值。
• 私有 SCO 的過量總體損失速率與非私有速率 $1/\sqrt{n}$ 相符，從而解決了一個長期存在的開放問題。
• 此結果表示在標準 $n$-樣本設定下，私有 SCO 不會因漸近速率劣於非私有 SCO。
• 先前私有 SCO 的最佳已知速率為 $1/n^{1/4}$，遠慢於 $1/\sqrt{n}$。
• 分析表明，私有與非私有 SCO 速率之間的差距並非本質性存在，而是先前演算法與分析限制的結果。
• 本研究確立了演算法穩定性足以在私有 SCO 中實現緊緻泛化界限，進而促成最優速率的推導。