[论文解读] Online Optimization with Predictions and Switching Costs: Fast Algorithms and the Fundamental Limit

Yingying Li, Guannan Qu+1 more|arXiv (Cornell University)|Jan 23, 2018

Advanced Bandit Algorithms Research参考文献 52被引用 29

一句话总结

本文提出递推时域梯度下降（RHGD）与递推时域加速梯度（RHAG），为具有有限预测与切换成本的凸优化问题设计快速梯度基在线算法。这些算法实现的遗憾边界随预测窗口长度呈指数衰减，且RHAG的遗憾接近最优，与最坏情况下的基本下界一致。

ABSTRACT

This paper studies an online optimization problem with a finite prediction window of cost functions and additional switching costs on decisions. We propose two gradient-based online algorithms: Receding Horizon Gradient Descent (RHGD), and Receding Horizon Accelerated Gradient (RHAG). Both algorithms only require a finite number of projected gradient evaluations at each stage. We provide upper bounds on the dynamic regrets of the proposed algorithms and show that the regret upper bounds decay exponentially with the length of the prediction window. Moreover, we study the fundamental lower bound on the dynamic regret for a broad class of deterministic online algorithms. The lower bound is close to RHAG's regret upper bound, indicating that our gradient-based RHAG is a near-optimal online algorithm. Finally, we conduct numerical experiments to complement our theoretical analysis.

研究动机与目标

• 解决在智能电网与数据中心调度等应用中常见的具有有限时域预测与切换成本的在线凸优化挑战。
• 设计计算高效的在线算法，利用预测信息，而无需在每一步求解完整的多阶段优化问题。
• 建立理论性能保证，包括随预测窗口延长而改善的遗憾边界。
• 推导确定性在线算法在该设置下的动态遗憾基本下界，以评估最优性。
• 证明RHAG的遗憾接近该下界，表明其在最坏情况下仍接近最优，即使与计算密集型方法相比亦然。

提出的方法

• 提出RHGD与RHAG作为基于梯度的在线算法，使用经典在线凸优化方法（如OGD）作为初始化预言机。
• 在每个阶段，基于对下一W个成本函数的预测，对初始化结果执行梯度更新，每阶段仅需W+1次投影梯度评估。
• 将优化问题建模为时变成本函数，并引入二次切换成本以惩罚决策变化。
• 采用有限窗口W的递推时域优化，以平衡预测精度与计算效率。
• 在RHAG中引入Nesterov加速梯度方法，以提升收敛速度与遗憾性能。
• 通过动态遗憾分析遗憾，其定义为在线算法成本与最优事后成本之间的差值。

实验结果

研究问题

• RQ1 能否设计出快速、基于梯度的在线算法，有效利用有限预测窗口，以在时变凸优化与切换成本下降低遗憾？
• RQ2 预测窗口长度W如何影响在线算法的遗憾性能？
• RQ3 在此设置下，任何确定性在线算法的动态遗憾是否存在基本极限（下界）？
• RQ4 所提出的RHAG算法性能与该基本极限的接近程度如何？
• RQ5 在更新步骤中使用最新决策信息，是否会对性能产生改善或损害，尤其对加速方法而言？

主要发现

• RHGD与RHAG实现的遗憾边界随预测窗口长度W呈指数衰减，显著优于初始化预言机。
• RHAG的遗憾上界与推导出的动态遗憾基本下界处于同一数量级，表明其在最坏情况下接近最优。
• 由于加速机制，RHAG在遗憾衰减速率上优于RHGD，且在强凸性与光滑性假设下表现稳健。
• 数值实验表明，RHAG在成本表现上与模型预测控制（MPC）相当或更优，同时速度显著更快。
• 在更新中使用最新决策会损害RHAG的性能，原因在于Nesterov方法对输入扰动敏感；而RHGD受影响较小。
• 通过最坏情况分析推导出遗憾的基本下界，且该下界是紧致的，表明在最坏情况下，任何确定性在线算法均无法显著优于RHAG的遗憾性能。