[论文解读] Optimal Rates of (Locally) Differentially Private Heavy-tailed Multi-Armed Bandits

Youming Tao, Yulian Wu+2 more|arXiv (Cornell University)|Jun 4, 2021

Advanced Bandit Algorithms Research参考文献 46被引用 6

一句话总结

本文在重尾奖励分布（具有有限的 $(1+v)$-阶矩，$v \in (0,1]$）下，提出了局部和中心化差分隐私多臂赌博机问题的最优算法。提出了私有且鲁棒的UCB与成功消除算法变体，实现了与信息论下界匹配的实例相关 regret 边界，在 $\epsilon$-LDP 模型下达到紧致的 $O(\frac{1}{\epsilon^2} \sum_{\Delta_a > 0} (\frac{1}{\Delta_a})^{1/v})$ 速率。

ABSTRACT

In this paper we investigate the problem of stochastic multi-armed bandits (MAB) in the (local) differential privacy (DP/LDP) model. Unlike previous results that assume bounded/sub-Gaussian reward distributions, we focus on the setting where each arm's reward distribution only has $(1+v)$-th moment with some $v\in (0, 1]$. In the first part, we study the problem in the central $ε$-DP model. We first provide a near-optimal result by developing a private and robust Upper Confidence Bound (UCB) algorithm. Then, we improve the result via a private and robust version of the Successive Elimination (SE) algorithm. Finally, we establish the lower bound to show that the instance-dependent regret of our improved algorithm is optimal. In the second part, we study the problem in the $ε$-LDP model. We propose an algorithm that can be seen as locally private and robust version of SE algorithm, which provably achieves (near) optimal rates for both instance-dependent and instance-independent regret. Our results reveal differences between the problem of private MAB with bounded/sub-Gaussian rewards and heavy-tailed rewards. To achieve these (near) optimal rates, we develop several new hard instances and private robust estimators as byproducts, which might be used to other related problems. Finally, experiments also support our theoretical findings and show the effectiveness of our algorithms.

研究动机与目标

• 填补在重尾奖励分布下差分隐私赌博机学习的研究空白，此前工作假设奖励为有界或次高斯分布。
• 在 $(1+v)$-阶矩条件下（$v \in (0,1]$），为随机多臂赌博机设计私有且鲁棒的算法。
• 在 $\epsilon$-DP 与 $\epsilon$-LDP 模型下，建立紧致的实例相关与实例无关 regret 边界。
• 提供理论下界以证明所提算法的最优性。
• 设计新型私有鲁棒估计器与困难实例，其可推广至其他私有学习问题。

提出的方法

• 为 $\epsilon$-DP 模型提出一种私有且鲁棒的上置信度（UCB）算法，通过注入噪声以保证差分隐私，同时保持对重尾奖励的鲁棒性。
• 为 $\epsilon$-DP 模型引入一种改进的私有且鲁棒的成功消除（SE）算法，以提升 regret 性能。
• 为 $\epsilon$-LDP 模型设计一种本地私有且鲁棒的 SE 算法，确保在数据收集层面的隐私性。
• 利用私有鲁棒估计器，在重尾分布下准确估计均值，同时保持隐私性。
• 构建新颖的困难实例，以证明 regret 的信息论下界，从而证明所提算法的最优性。
• 应用 Bretagnolle-Hubert 不等式与 KL 散度分析，推导 $\epsilon$-LDP 设置下期望 regret 的下界。

实验结果

研究问题

• RQ1 在具有有限 $(1+v)$-阶矩的重尾奖励分布下，差分隐私多臂赌博机的最优实例相关 regret 速率是多少？
• RQ2 与有界或次高斯假设相比，重尾奖励下私有赌博机算法的性能退化程度如何？
• RQ3 私有且鲁棒的 UCB 与成功消除算法变体是否能在 $\epsilon$-DP 与 $\epsilon$-LDP 模型下实现近最优 regret？
• RQ4 在重尾奖励下，私有赌博机学习的信息论极限是什么？能否被实际算法达到？
• RQ5 在隐私约束下处理重尾奖励，需要哪些新型私有鲁棒估计技术？

主要发现

• 所提出的私有且鲁棒的 UCB 算法在 $\epsilon$-DP 模型下实现了实例相关的 regret 为 $O\left(\frac{1}{\epsilon} \sum_{\Delta_a > 0} \left(\frac{1}{\Delta_a}\right)^{1/v} \right)$。
• 在 $\epsilon$-DP 模型下，改进的私有且鲁棒 SE 算法匹配下界 $\Omega\left(\frac{1}{\epsilon} \sum_{\Delta_a > 0} \left(\frac{1}{\Delta_a}\right)^{1/v} \right)$，证明了其在实例层面的最优性。
• 在 $\epsilon$-LDP 模型下，所提算法实现了实例相关的 regret 为 $O\left( \frac{1}{\epsilon^2} \sum_{\Delta_a > 0} \left(\frac{1}{\Delta_a}\right)^{1/v} \right)$，与下界 $\Omega\left( \frac{1}{\epsilon^2} \sum_{\Delta_a > 0} \left(\frac{1}{\Delta_a}\right)^{1/v} \right)$ 一致。
• 对于实例无关的 regret，$\epsilon$-LDP 算法实现了 $O\left( \left(\frac{K \log T}{\epsilon^2} \right)^{v/(1+v)} T^{1/(1+v)} \right)$，与下界 $\Omega\left( \left(\frac{K}{\epsilon^2} \right)^{v/(1+v)} T^{1/(1+v)} \right)$ 一致。
• 本文构建了新的困难实例与私有鲁棒估计器，其在证明下界时起到关键作用，且可被复用于其他私有学习问题。
• 实验结果验证了理论发现，表明所提算法在隐私约束下能有效处理重尾奖励，在 DP 与 LDP 设置下均优于基线方法。