[论文解读] Smoothed Online Convex Optimization in High Dimensions via Online Balanced Descent

Niangjun Chen, Gautam Goel+1 more|arXiv (Cornell University)|Mar 27, 2018

Advanced Bandit Algorithms Research被引用 34

一句话总结

本文提出了在线平衡下降（OBD），一种用于高维平滑在线凸优化（SOCO）的新型算法框架，通过将当前成本函数的等值集投影来平衡切换成本与损失成本。OBD在局部多面体成本下实现了维度无关的竞争力比 $3 + O(1/\alpha)$，并获得了维度独立的次线性静态遗憾，这是高维SOCO问题中首次实现此类结果。

ABSTRACT

We study Smoothed Online Convex Optimization, a version of online convex optimization where the learner incurs a penalty for changing her actions between rounds. Given a $\\Omega(\\sqrt{d})$ lower bound on the competitive ratio of any online algorithm, where $d$ is the dimension of the action space, we ask under what conditions this bound can be beaten. We introduce a novel algorithmic framework for this problem, Online Balanced Descent (OBD), which works by iteratively projecting the previous point onto a carefully chosen level set of the current cost function so as to balance the switching costs and hitting costs. We demonstrate the generality of the OBD framework by showing how, with different choices of "balance," OBD can improve upon state-of-the-art performance guarantees for both competitive ratio and regret, in particular, OBD is the first algorithm to achieve a dimension-free competitive ratio, $3 + O(1/\\alpha)$, for locally polyhedral costs, where $\\alpha$ measures the "steepness" of the costs. We also prove bounds on the dynamic regret of OBD when the balance is performed in the dual space that are dimension-free and imply that OBD has sublinear static regret.

研究动机与目标

• 解决高维平滑在线凸优化（SOCO）中的基本挑战，其中现有算法在竞争力比上面临 $\Omega(\sqrt{d})$ 的下界。
• 通过引入一种新算法框架，突破SOCO中依赖维度的性能障碍，确保维度无关的性能保证。
• 通过新颖的投影机制，平衡切换成本与损失成本，实现SOCO中更优的竞争力比与遗憾界。
• 证明OBD可同时实现与动作空间维度 $d$ 无关的次线性静态遗憾与动态遗憾界。
• 通过统一的OBD框架，在不同场景（原始与对偶）下，为竞争力比与遗憾提供理论保证。

提出的方法

• 提出在线平衡下降（OBD），通过将前一动作迭代投影到当前成本函数的等值集上，以平衡切换成本与损失成本。
• 基于强凸镜映射 $\Phi$ 的势函数，控制移动成本与成本函数值之间的权衡。
• 在原始设置中，通过平衡参数控制的等值集投影，平衡损失成本 $f_t(x_t)$ 与移动成本 $\|x_t - x_{t-1}\|$。
• 在对偶设置中，平衡梯度的对偶范数 $\|\nabla f_t(x_t)\|_*$ 与对偶空间中的切换成本，从而实现动态遗憾界。
• 使用二分法高效求解满足梯度与移动成本之间平衡条件的正确等值集。
• 利用相对于镜映射 $\Phi$ 的Bregman投影，确保对偶空间平衡方法中的收敛性与稳定性。

实验结果

研究问题

• RQ1 能否设计一种平滑在线凸优化的竞争力算法，在高维设置下实现维度无关的竞争力比？
• RQ2 在何种成本函数条件下可实现高维SOCO中的次线性遗憾？此类界限能否与维度 $d$ 无关？
• RQ3 在原始空间与对偶空间之间选择不同的平衡度量，如何影响OBD在竞争力比与遗憾方面的性能保证？
• RQ4 能否设计OBD，使其在存在固有权衡的竞争力比与遗憾指标之间，同时实现优异性能？
• RQ5 使用Bregman投影与镜映射在平衡SOCO中切换成本与损失成本方面，其理论影响是什么？

主要发现

• 对于局部多面体成本函数，OBD实现了 $3 + O(1/\alpha)$ 的竞争力比，其中 $\alpha$ 衡量成本的陡峭程度，且该界与维度 $d$ 无关。
• 对于连续可微的成本函数，采用对偶空间平衡的OBD实现了 $L$-约束的动态遗憾，其上界为 $\frac{GL}{\eta} + \frac{T\eta}{2m}$，且该界为维度无关。
• 通过优化平衡参数 $\eta$，OBD实现了 $O(\sqrt{T})$ 的静态遗憾，与无切换成本情况下的已知下界一致。
• 对偶空间变体的OBD确保当离线解具有更低损失成本时，势函数下降，从而实现总成本分析中每步费用非正。
• OBD是首个在高维SOCO中同时实现维度无关竞争力比与次线性遗憾的算法，解决了关键开放问题。
• 理论分析表明，OBD的性能在不同范数与成本函数类别下均具鲁棒性，其界通过Bregman散度与镜映射的强凸性推导得出。