[论文解读] Online Learning via the Differential Privacy Lens

Jacob Abernethy, Young Hun Jung+3 more|arXiv (Cornell University)|Nov 27, 2017

Advanced Bandit Algorithms Research参考文献 40被引用 4

一句话总结

本文提出了一种受差分隐私启发的稳定性框架，用于在线学习，通过一步差分稳定性推导出在完整信息与部分信息设置下，基于扰动的领导跟踪算法（FTPL）的一阶遗憾界。引入了Tsallis最大散度以实现更紧密的稳定性控制，在在线凸优化（OCO）、在线线性优化（OLO）、多臂赌博机（multi-armed bandits）以及专家型赌博机中均实现了最优或近似最优的遗憾界，提供了一种统一的、以隐私为动机的算法设计方法，并具备强大的理论保证。

ABSTRACT

In this paper, we use differential privacy as a lens to examine online learning in both full and partial information settings. The differential privacy framework is, at heart, less about privacy and more about algorithmic stability, and thus has found application in domains well beyond those where information security is central. Here we develop an algorithmic property called one-step differential stability which facilitates a more refined regret analysis for online learning methods. We show that tools from the differential privacy literature can yield regret bounds for many interesting online learning problems including online convex optimization and online linear optimization. Our stability notion is particularly well-suited for deriving first-order regret bounds for follow-the-perturbed-leader algorithms, something that all previous analyses have struggled to achieve. We also generalize the standard max-divergence to obtain a broader class called Tsallis max-divergences. These define stronger notions of stability that are useful in deriving bounds in partial information settings such as multi-armed bandits and bandits with experts.

研究动机与目标

• 开发一种基于稳定性的在线学习框架，借鉴差分隐私原则，重点在于算法稳定性本身，而非隐私保护本身。
• 解决长期存在的挑战：为基于扰动的算法（如FTPL）推导一阶遗憾界，而此前的分析无法实现此目标。
• 通过单一稳定性框架，统一分析完整信息（如OCO、OLO）与部分信息（如赌博机）设置下的在线学习问题。
• 引入Tsallis γ-最大散度作为更强的稳定性概念，尤其在损失估计方差较大的部分信息设置中具有优势。
• 证明基于DP启发的稳定性可在多种在线学习问题中实现最优或近似最优的遗憾界，包括在OLO和专家型赌博机中获得新结果。

提出的方法

• 提出一步差分稳定性作为新的算法稳定性属性，使在线学习算法的遗憾分析更加紧密。
• 应用差分隐私中的目标扰动方法，设计新的基于FTPL的OCO与OLO算法，实现一阶遗憾界。
• 提出一类新型Tsallis γ-最大散度，以增强稳定性控制，尤其在损失估计具有重尾或无界时表现更优。
• 采用广义贝叶斯后验方法（GBPA）建模随机在线学习策略，通过对偶关系将稳定性与遗憾联系起来。
• 通过将期望遗憾分解为稳定性项与范围项，结合扰动的集中性与有界性，推导出遗憾界。
• 调节隐私预算 ϵ 与截断阈值 ρ 等参数，以在偏差与方差之间取得平衡，实现遗憾界的最优权衡。

实验结果

研究问题

• RQ1 能否利用受差分隐私启发的稳定性，为FTPL算法推导出一阶遗憾界？此前的分析未能实现此目标。
• RQ2 如何形式化一步差分稳定性，并将其用于统一完整信息与部分信息设置下在线学习问题的遗憾分析？
• RQ3 Tsallis γ-最大散度在部分信息设置（如多臂赌博机）中如何提升稳定性并收紧遗憾界？
• RQ4 所提出的框架能否为在线线性优化（OLO）问题实现最优或近似最优的遗憾界？此前该问题尚未知一阶边界。
• RQ5 在专家型赌博机中，不同的扰动与正则化方案如何映射到特定的稳定性水平？能否实现与EXP4相同的遗憾界？

主要发现

• 本文首次为基于扰动的算法建立了在线线性优化（OLO）的一阶遗憾界，达到 O(√(T L*)) 的遗憾，其中 L* 为最优累积损失。
• 对于在线凸优化（OCO），所提出的基于目标扰动的FTPL算法实现了 O(√(T L*)) 的一阶遗憾界，与已知最优界一致，但通过新颖的稳定性视角推导得出。
• 引入Tsallis γ-最大散度后，其稳定性控制优于标准最大散度，尤其在损失估计具有重尾或无界的部分信息设置中优势显著。
• 该框架统一了多臂赌博机算法的分析，表明不同扰动与正则化方式可诱导特定的差分稳定性水平，从而导出简洁的遗憾界。
• 对于专家型赌博机，所提出的基于扰动的算法实现了与EXP4算法相同的最优零阶与一阶遗憾界，证明了该框架的通用性与强大表现。
• 分析表明，损失估计中的截断策略可通过 ρ 与 ϵ 调节，以平衡偏差与方差，当 L* > 128K log N 时，遗憾界为 O(K^{1/3}(log N)^{2/3}(L*)^{2/3})，在对数因子内为最优。