[论文解读] Robust Online Learning for Resource Allocation - Beyond Euclidean Projection and Dynamic Fit

Ezra Tampubolon, Holger Boche|arXiv (Cornell University)|Jan 1, 2019

Advanced Bandit Algorithms Research参考文献 28被引用 2

一句话总结

本文提出 h-CFit，一种新型在线资源分配性能度量，通过追踪违规的累积正值部分来避免违规项的相互抵消。该文提出一种基于镜像下降的非因果算法（GOSMP），在噪声反馈下实现了 O(√T) 的动态遗憾边界和 O(T^{3/4}) 的 h-CFit 边界，优于现有最先进方法，尤其在使用非欧几里得镜像映射（如平滑熵）时表现更优。

ABSTRACT

Online-learning literature has focused on designing algorithms that ensure sub-linear growth of the cumulative long-term constraint violations. The drawback of this guarantee is that strictly feasible actions may cancel out constraint violations on other time slots. For this reason, we introduce a new performance measure called $\hCFit$, whose particular instance is the cumulative positive part of the constraint violations. We propose a class of non-causal algorithms for online-decision making, which guarantees, in slowly changing environments, sub-linear growth of this quantity despite noisy first-order feedback. Furthermore, we demonstrate by numerical experiments the performance gain of our method relative to the state of art.

研究动机与目标

• 解决传统长期约束违规度量允许时间槽间正负违规相互抵消的局限性。
• 提出一种新性能度量 h-CFit，捕捉累积正值约束违规，避免抵消效应。
• 设计一种基于在线镜像下降的非因果对偶方法，确保在缓慢变化环境中 h-CFit 呈次线性增长。
• 在噪声一阶反馈下，建立动态遗憾与 h-CFit 的理论边界。
• 验证非欧几里得镜像映射（如平滑熵）相较于欧几里得投影在实际中的优越性。

提出的方法

• 将 h-CFit 定义为约束违规的累积正值部分，即 ∑ₜ h(gₜ(Xₜ))，其中 h(x) = [x]₊。
• 设计一种非因果原始-对偶算法 GOSMP，采用通用正则化项 ψ 的镜像下降，以处理时变约束。
• 利用由 K-强凸正则化项诱导的镜像映射 Φ，定义 Fenchel 对偶耦合，并确保对偶更新中的强凸性。
• 采用依赖未来信息（非因果）的对偶更新规则，以实现更紧的遗憾与约束违规边界。
• 引入具有鞅型反馈的噪声模型，以反映梯度观测中的现实世界不确定性。
• 结合强凸性与 Fenchel 对偶耦合性质，利用凸分析与对偶理论推导出遗憾与 h-CFit 的边界。

实验结果

研究问题

• RQ1 如何设计一种在线资源分配性能度量，以避免时间槽间约束违规的相互抵消？
• RQ2 在噪声反馈下，动态遗憾与累积约束违规之间的理论权衡是什么？
• RQ3 非因果镜像下降方法能否实现在保持低动态遗憾的同时，使 h-CFit 呈次线性增长？
• RQ4 镜像映射的选择（如欧几里得 vs. 平滑熵）如何影响算法的鲁棒性与性能？
• RQ5 相较于标准欧几里得投影，使用非欧几里得镜像映射是否能在遗憾与约束违规方面带来可测量的性能提升？

主要发现

• 所提出的 h-CFit 度量通过仅累加正值部分，防止了约束违规的相互抵消，更准确地反映了约束不可行性。
• GOSMP 算法实现了 O((1 + σ² + V_T)^{1/2} T^{1/2}) 的动态遗憾边界，其中 V_T 衡量最优解的变化。
• h-CFit 边界为 O(T^{3/4})，呈次线性，相较于以往累积违规边界有显著改进。
• 数值实验表明，当使用平滑熵作为正则化项时，GOSMP 的总累积动态遗憾（TADR）显著低于使用欧几里得投影的情况。
• 使用非欧几里得镜像映射（平滑熵）在噪声下表现出更强的鲁棒性，尽管 TADR 的方差更高，但性能指标的波动更低。
• 使用平滑熵时，GOSMP 性能的标准差更低，表明其收敛行为比使用欧几里得投影时更稳定。