[论文解读] Parameter-Free Online Convex Optimization with Sub-Exponential Noise

Kwang-Sung Jun, Francesco Orabona|arXiv (Cornell University)|Feb 5, 2019

Advanced Bandit Algorithms Research参考文献 27被引用 7

一句话总结

该论文提出 BANCO，一种针对具有次指数噪声的巴拿赫空间的新型无参数在线凸优化算法，通过将问题转化为噪声硬币投注问题来实现。其在期望 regret 上达到 O(∥u∥√(G² + σ²)T log(1 + ∥u∥T)) 的最优尺度，即使在子梯度无界且噪声未知的情况下，也与无噪声情形下的最小最大率一致。

ABSTRACT

We consider the problem of unconstrained online convex optimization (OCO) with sub-exponential noise, a strictly more general problem than the standard OCO. In this setting, the learner receives a subgradient of the loss functions corrupted by sub-exponential noise and strives to achieve optimal regret guarantee, without knowledge of the competitor norm, i.e., in a parameter-free way. Recently, Cutkosky and Boahen (COLT 2017) proved that, given unbounded subgradients, it is impossible to guarantee a sublinear regret due to an exponential penalty. This paper shows that it is possible to go around the lower bound by allowing the observed subgradients to be unbounded via stochastic noise. However, the presence of unbounded noise in unconstrained OCO is challenging; existing algorithms do not provide near-optimal regret bounds or fail to have a guarantee. So, we design a novel parameter-free OCO algorithm for Banach space, which we call BANCO, via a reduction to betting on noisy coins. We show that BANCO achieves the optimal regret rate in our problem. Finally, we show the application of our results to obtain a parameter-free locally private stochastic subgradient descent algorithm, and the connection to the law of iterated logarithms.

研究动机与目标

• 解决无约束在线凸优化（OCO）中因次指数噪声导致子梯度无界的问题，标准算法因指数级 regret 惩罚而失效。
• 通过在反馈中引入随机性，克服近期下界结果所表明的在对抗性噪声下无参数 OCO 与无界子梯度不可行的限制。
• 设计一种新算法，无需事先知晓比较器范数 ∥u∥ 和时间跨度 T，即可自适应地实现最优 regret 尺度。
• 建立噪声硬币投注与巴拿赫空间中集中不等式之间的联系，揭示其与迭代对数律的关联。
• 通过将所提框架应用于差分隐私，实现首个无参数局部私有随机子梯度下降算法。

提出的方法

• 将巴拿赫空间中的无约束 OCO 问题约化为一维噪声硬币投注游戏，其中财富最大化对应于 regret 最小化。
• 设计一种新颖的投注势函数，使用特定先验 π(β) ∝ 1/(|β| (ln²(σ₁D|β|) + 1))，以确保超级 martingale 性质和最优集中性。
• 将 BANCO 构建为黑箱约化：利用对偶范数和子梯度反馈，将巴拿赫空间 OCO 问题映射为一维硬币投注游戏。
• 利用 Doob 不等式对由此产生的超级 martingale 进行高概率集中性边界推导，以处理噪声子梯度之和。
• 通过自适应步长的在线镜像下降框架，推导出与迭代对数律速率一致的巴拿赫值集中不等式。
• 通过构造噪声水平 σ² 的匹配下界，证明该 regret 边界无法进一步改进，表明其在常数因子内最优。

实验结果

研究问题

• RQ1 当子梯度因次指数噪声而无界时，尽管在对抗性噪声下存在已知下界，是否仍可实现无参数 OCO？
• RQ2 能否设计一种算法，在无界且噪声子梯度存在、且未知 ∥u∥ 的前提下，实现与 ∥u∥ 和 T 相关的最优 regret 尺度？
• RQ3 无约束 OCO 在次指数噪声下的最紧可能 regret 边界是什么？其是否可与无噪声情形下的最小最大率一致？
• RQ4 噪声硬币投注框架是否能导出巴拿赫空间中的新集中不等式？若能，其与经典结果（如迭代对数律）有何关联？
• RQ5 所提框架能否应用于差分隐私，以构建首个无参数局部私有 SGD 算法？

主要发现

• BANCO 在光滑巴拿赫空间中实现了期望 regret 边界 O(∥u∥√(G² + σ²)T log(1 + ∥u∥T))，与最优无噪声最小最大率一致。
• 通过在噪声水平 σ² 上构造匹配下界，证明该 regret 边界在常数因子内无法改进。
• 该算法导出一个巴拿赫值集中不等式，其速率与迭代对数律一致，该结果通过投注势产生的超级 martingale 应用 Doob 不等式推导得出。
• 该框架使首个无参数局部私有随机子梯度下降算法成为可能，其收敛速率与 Wu 等人（2017）的结果在多对数项内一致。
• 先验 π(β) ∝ 1/(|β| (ln²(σ₁D|β|) + 1)) 对实现最优边界至关重要，无法被标准先验（如 1/(β ln²(β))）替代，尤其当 β 无界时。
• 该方法揭示，通过精心选择先验的噪声硬币投注可导出精确的集中不等式，为在线学习与随机过程之间建立了新桥梁。