[论文解读] Regret and Cumulative Constraint Violation Analysis for Online Convex Optimization with Long Term Constraints

Xinlei Yi, Xiuxian Li+4 more|arXiv (Cornell University)|Jun 9, 2021

Advanced Bandit Algorithms Research参考文献 34被引用 7

一句话总结

本文提出了两种针对长期约束下在线凸优化的新算法，其中约束允许暂时违反，但必须在时间上整体满足。通过引入用户定义的权衡参数并利用强凸性，该方法在一般比较序列下实现了最优的 O(√(T(1+P_T))) 冗余和 O(√T) 累积约束违反边界。

ABSTRACT

This paper considers online convex optimization with long term constraints, where constraints can be violated in intermediate rounds, but need to be satisfied in the long run. The cumulative constraint violation is used as the metric to measure constraint violations, which excludes the situation that strictly feasible constraints can compensate the effects of violated constraints. A novel algorithm is first proposed and it achieves an $\mathcal{O}(T^{\max\{c,1-c\}})$ bound for static regret and an $\mathcal{O}(T^{(1-c)/2})$ bound for cumulative constraint violation, where $c\in(0,1)$ is a user-defined trade-off parameter, and thus has improved performance compared with existing results. Both static regret and cumulative constraint violation bounds are reduced to $\mathcal{O}(\log(T))$ when the loss functions are strongly convex, which also improves existing results. %In order to bound the regret with respect to any comparator sequence, In order to achieve the optimal regret with respect to any comparator sequence, another algorithm is then proposed and it achieves the optimal $\mathcal{O}(\sqrt{T(1+P_T)})$ regret and an $\mathcal{O}(\sqrt{T})$ cumulative constraint violation, where $P_T$ is the path-length of the comparator sequence. Finally, numerical simulations are provided to illustrate the effectiveness of the theoretical results.

研究动机与目标

• 解决在长期约束下在线凸优化的挑战，允许临时违反约束，但必须最小化累积违反。
• 通过引入更严格的度量——累积约束违反，排除严格可行约束的补偿效应，改进现有冗余和约束违反边界。
• 设计在一般凸和强凸损失函数下，对任意比较序列（包括动态和静态序列）实现最优冗余的算法。
• 建立比现有结果更紧致的理论边界，特别是在强凸情况下，实现对数冗余。

提出的方法

• 提出一种新颖算法，采用时变步长和惩罚参数，以平衡冗余和累积约束违反，并引入用户定义的权衡参数 c ∈ (0,1)。
• 引入基于对偶的更新规则，通过惩罚项将约束违反整合到优化中，确保长期可行性，而无需每轮都满足可行性。
• 使用基于投影的更新，采用自适应步长 α_t = 2/T^c 和惩罚权重 γ_t = T^{c/2}，以控制收敛和约束违反动态。
• 为实现相对于任意比较序列的最优冗余，设计第二种算法，通过多个不同步长的在线梯度下降实例和专家追踪机制，实现 O(√(T(1+P_T))) 冗余。
• 利用路径长度 P_T = ∑‖y_{t+1} - y_t‖ 作为比较序列变化的度量，推导出与动态复杂度成比例的冗余边界。
• 利用损失函数的强凸性，进一步将冗余边界收紧至 O(log T)，显著优于先前的 O(√T) 结果。

实验结果

研究问题

• RQ1 我们能否设计一种在线凸优化算法，在长期约束下实现次线性冗余和累积约束违反，且边界优于现有方法？
• RQ2 引入用户定义的权衡参数 c 对所提算法中冗余与累积约束违反之间的平衡有何影响？
• RQ3 所提算法能否实现相对于比较序列路径长度 P_T 的最优冗余缩放？
• RQ4 当损失函数为强凸时，可能获得哪些性能提升？在该条件下能否实现对数冗余？
• RQ5 排除补偿可行性的累积约束违反度量，为何能带来比标准违反度量更稳健、更有意义的性能评估？

主要发现

• 第一种算法在凸损失函数下，对静态冗余实现 O(T^{max{c,1−c}}) 边界，对累积约束违反实现 O(T^{(1−c)/2}) 边界，其中 c ∈ (0,1) 为用户定义的权衡参数。
• 当损失函数为强凸时，冗余和累积约束违反均降低至 O(log T)，显著优于现有 O(√T) 边界。
• 第二种算法在任意比较序列下实现最优的 O(√(T(1+P_T))) 冗余和 O(√T) 累积约束违反，与理论下限仅相差常数因子。
• 在线性与二次规划的数值模拟结果表明，算法1在累积损失和累积约束违反方面均优于现有方法，尤其在强凸性条件下表现更优。
• 累积约束违反度量有效防止了严格可行约束的补偿效应，从而实现更保守、更可靠的性能评估。
• 所提算法在模拟中表现出一致的优越性，算法1的累积损失和约束违反均低于 Yu & Neely (2020)、Yuan & Lamperski (2018) 等人的方法。