[论文解读] Shuffle Private Stochastic Convex Optimization

Albert Cheu, Matthew Joseph+2 more|arXiv (Cornell University)|Jun 17, 2021

Privacy-Preserving Technologies in Data参考文献 25被引用 6

一句话总结

本文提出了一种交互式洗牌私有随机凸优化协议，通过利用一种新颖的非交互式洗牌协议来实现有界 $β$-范数的私有向量求和，显著提升了本地模型下的效用。通过将该协议与小批量随机梯度下降、加速梯度下降以及Nesterov平滑化方法相结合，作者获得了与中心模型性能相当或接近的损失界，尤其在完全交互设置下表现突出。

ABSTRACT

In shuffle privacy, each user sends a collection of randomized messages to a trusted shuffler, the shuffler randomly permutes these messages, and the resulting shuffled collection of messages must satisfy differential privacy. Prior work in this model has largely focused on protocols that use a single round of communication to compute algorithmic primitives like means, histograms, and counts. We present interactive shuffle protocols for stochastic convex optimization. Our protocols rely on a new noninteractive protocol for summing vectors of bounded $\ell_2$ norm. By combining this sum subroutine with mini-batch stochastic gradient descent, accelerated gradient descent, and Nesterov's smoothing method, we obtain loss guarantees for a variety of convex loss functions that significantly improve on those of the local model and sometimes match those of the central model.

研究动机与目标

• 弥合本地模型与中心模型在随机凸优化中效用差距的目标。
• 设计实用的、顺序交互式的洗牌私有协议，在保持强隐私性的同时，提升现有本地模型的效用。
• 设计一种非交互式洗牌协议，用于有界 $β$-范数向量的私有求和，以支持更精确的梯度估计。
• 将洗牌模型扩展至支持交互式协议（顺序与完全交互），以适用于凸优化。
• 为洗牌私有环境下的凸、光滑及强凸损失函数，推导出紧致的隐私与效用保障。

提出的方法

• 提出一种非交互式洗牌协议，用于对 $d$-维向量求和，其 $Ø_2$-范数不超过 $L$，通过使用多个随机化消息来增强隐私并降低噪声方差。
• 在洗牌模型中采用添加高斯机制噪声的小批量随机梯度下降，以确保 $(\u0005, δ)$-差分隐私。
• 应用Nesterov平滑化方法处理非光滑凸函数，降低收敛速率的同时保持隐私。
• 在完全交互模型中采用加速梯度下降，实现凸函数的最优 $O(\sqrt{d}/(\varepsilon n))$ 损失。
• 设计一种两阶段协议，对梯度和参数更新分别注入噪声，通过后处理与组合机制确保端到端隐私。
• 利用洗牌带来的隐私放大效应及高级组合定理，对多轮交互中的隐私损失进行边界控制。

实验结果

研究问题

• RQ1 交互式洗牌协议是否能在随机凸优化中实现更接近中心模型的效用？
• RQ2 如何设计非交互式洗牌协议，以实现比以往工作更低噪声方差的有界范数向量私有求和？
• RQ3 在洗牌模型下，凸、光滑及强凸损失函数的最优隐私-效用权衡可达到何种紧致程度？
• RQ4 加速与平滑技术能否被适配至洗牌模型，以在隐私约束下提升收敛速率？
• RQ5 在洗牌私有优化中，顺序与完全交互协议的选择如何影响最终效用？

主要发现

• 所提出的向量求和非交互式洗牌协议相比以往方法显著降低了噪声方差，从而支持更精确的梯度估计。
• 对于凸损失函数，顺序交互协议的损失为 $O(d^{1/3}/(\varepsilon^{2/3}n^{2/3}))$，优于本地模型的 $O(\sqrt{d}/(\varepsilon\sqrt{n}))$。
• 在完全交互模型中，凸函数的损失达到了中心模型的最优速率：$O(\sqrt{d}/(\varepsilon n))$。
• 对于强凸且光滑的函数，完全交互协议实现了 $O(d/\varepsilon^2 n^2)$ 的损失，与中心模型的最优速率一致。
• 噪声梯度估计器的方差被限制在 $O(L^2/b + dL^2 \log(1/\delta)/(b^2 \varepsilon^2))$，从而支持紧致的效用分析。
• 协议设计通过精心的噪声注入与组合机制，确保了即使在多轮交互下也满足 $(\varepsilon, \delta)$-差分隐私。