[论文解读] POND: Pessimistic-Optimistic oNline Dispatch.

Xin Liu, Bin Li+2 more|arXiv (Cornell University)|Oct 20, 2020

Advanced Bandit Algorithms Research参考文献 34被引用 9

一句话总结

POND 是一种新颖的在线调度算法，适用于在到达、奖励和约束分布未知的条件下进行受限在线决策。它实现了 $O(\sqrt{T})$ 的遗憾和 $O(1)$ 的约束违规，两者均为紧致边界，并在合成数据集和真实数据集上通过实证验证，表现出较低的遗憾和极少的约束违规。

ABSTRACT

This paper considers constrained online dispatching with unknown arrival, reward and constraint distributions. We propose a novel online dispatching algorithm, named POND, standing for Pessimistic-Optimistic oNline Dispatching, which achieves $O(\sqrt{T})$ regret and $O(1)$ constraint violation. Both bounds are sharp. Our experiments on synthetic and real datasets show that POND achieves low regret with minimal constraint violations.

研究动机与目标

• 解决在到达、奖励和约束分布未知条件下的在线调度问题。
• 设计一种算法，确保在受限在线决策中实现低遗憾和有界约束违规。
• 在缺乏分布知识的情况下，实现遗憾和约束违规的紧致理论边界。
• 在合成数据集和真实世界数据集上实证验证该算法的性能。

提出的方法

• POND 采用悲观-乐观策略，在约束条件下平衡探索与利用。
• 它维护对偶变量，以实时跟踪并惩罚约束违规。
• 该算法使用遗憾分解技术，将累积损失相对于最优离线基准进行有界。
• 它应用置信区间更新规则，以处理未知分布中的不确定性。
• 该方法确保约束违规在时间上保持一致有界，实现 $O(1)$ 的违规。
• 它通过一种新颖的悲观-乐观权衡机制，将在线学习与受限优化相结合。

实验结果

研究问题

• RQ1 在线调度算法是否能在到达、奖励和约束分布未知的条件下实现 $O(\sqrt{T})$ 的遗憾？
• RQ2 在分布不确定性下，此类算法是否能保持 $O(1)$ 的约束违规？
• RQ3 悲观-乐观策略与现有受限设置下的在线学习方法相比如何？
• RQ4 POND 在合成数据集和真实数据集上的遗憾和约束违规方面，实证性能如何？

主要发现

• POND 实现了 $O(\sqrt{T})$ 的遗憾，这是在分布未知条件下在线学习的最佳可能速率。
• 该算法确保了 $O(1)$ 的约束违规，意味着违规不会随时间增长。
• 遗憾和约束违规的边界均为紧致，表明在渐近意义上已无改进空间。
• 在合成数据集和真实数据集上的实证结果证实了其低遗憾和极少的约束违规。
• 悲观-乐观设计在实践中有效平衡了探索与约束遵守。