[论文解读] Stochastic Adaptive Line Search for Differentially Private Optimization

Chen Chen, Jae Wook Lee|arXiv (Cornell University)|Aug 18, 2020

Privacy-Preserving Technologies in Data参考文献 26被引用 4

一句话总结

该论文提出了一种基于自适应步长选择的Rényi差分隐私随机梯度下降算法，通过随机Armijo线搜索实现，利用带有噪声的梯度和函数估计来满足Armijo条件，同时最小化隐私预算的使用。该方法引入了基于梯度方向变化的自适应隐私预算分配机制，在凸与非凸问题上均实现了优于现有私有化优化器的收敛性与实用性。

ABSTRACT

The performance of private gradient-based optimization algorithms is highly dependent on the choice of step size (or learning rate) which often requires non-trivial amount of tuning. In this paper, we introduce a stochastic variant of classic backtracking line search algorithm that satisfies Rényi differential privacy. Specifically, the proposed algorithm adaptively chooses the step size satsisfying the the Armijo condition (with high probability) using noisy gradients and function estimates. Furthermore, to improve the probability with which the chosen step size satisfies the condition, it adjusts per-iteration privacy budget during runtime according to the reliability of noisy gradient. A naive implementation of the backtracking search algorithm may end up using unacceptably large privacy budget as the ability of adaptive step size selection comes at the cost of extra function evaluations. The proposed algorithm avoids this problem by using the sparse vector technique combined with the recent privacy amplification lemma. We also introduce a privacy budget adaptation strategy in which the algorithm adaptively increases the budget when it detects that directions pointed by consecutive gradients are drastically different. Extensive experiments on both convex and non-convex problems show that the adaptively chosen step sizes allow the proposed algorithm to efficiently use the privacy budget and show competitive performance against existing private optimizers.

研究动机与目标

• 为解决差分隐私优化中步长选择的挑战，该挑战显著影响收敛性与实用性。
• 设计一种隐私保护的线搜索机制，自适应地选择满足Armijo条件的步长，同时满足Rényi差分隐私。
• 通过利用稀疏向量技术与隐私放大效应，减少回溯线搜索中多次函数评估导致的过度隐私预算消耗。
• 通过在连续梯度方向发生显著变化时动态调整隐私预算，提升在噪声梯度下的步长选择可靠性。
• 通过实证验证，自适应步长选择在差分隐私下的凸、非凸及深度学习问题中均能提升性能。

提出的方法

• 提出一种随机回溯线搜索算法，利用带有噪声的梯度和函数估计，在Rényi差分隐私下以高概率满足Armijo条件。
• 应用稀疏向量技术，仅在检查Armijo条件的迭代中消耗隐私预算，而非所有评估操作，从而限制隐私预算的使用。
• 通过随机子采样实现隐私放大，以放松对函数评估的隐私预算约束。
• 引入一种动态隐私预算自适应策略，当连续梯度之间的夹角超过阈值时增加预算，以指示梯度方向不稳定或冲突。
• 使用基于每轮迭代隐私预算校准的噪声尺度的高斯机制，以确保Rényi差分隐私。
• 实现一个NoisyBTLS子程序，返回预定义范围内的最大有效步长，隐私预算分配给梯度和函数评估。

实验结果

研究问题

• RQ1 能否设计一种差分隐私线搜索算法，自适应地选择满足Armijo条件的步长，同时最小化隐私预算的使用？
• RQ2 在差分隐私下，面对噪声梯度与函数估计时，如何提升步长选择的可靠性？
• RQ3 自适应隐私预算分配对私有化优化中收敛速度与模型实用性的实际影响如何？
• RQ4 与现有私有化优化器（如DP-SGD和DP-Adam）相比，所提方法在收敛性与最终模型性能方面表现如何？
• RQ5 通过线搜索实现的自适应步长选择，能否在差分隐私下提升凸与非凸机器学习问题的性能？

主要发现

• 所提出的DP-BLSGD算法在MNIST、FMNIST与Cifar-10的MLP与CNN模型上，相较于DP-SGD与DP-Adam，在收敛速度与最终准确率方面表现更优，尤其在目标函数值降低方面优势显著。
• 在逻辑回归任务中，DP-BLSGD在4个数据集中的3个上分类准确率高于DP-AGD与Outpert-RSGD，尤其在低隐私预算条件下表现更优。
• 该算法的自适应步长选择带来更快收敛：如图5底部行所示，训练过程中步长随迭代合理减小。
• 即使在训练过程中不增加隐私预算，DP-BLSGD仍优于DP-SGD与DP-Adam，证明了线搜索机制本身的价值。
• 动态隐私预算自适应策略提升了可靠性：当梯度方向显著发散时，算法增加预算以确保梯度估计的稳定性。
• 在Bank数据集上，Outpert-RSGD优于DP-BLSGD，可能由于该数据集训练范围较小，导致基于梯度扰动的方法效果减弱。