[论文解读] Opportunistic Scheduling for Optimal Spot Instance Savings in the Cloud

Neelkamal Bhuyan, Randeep Bhatia+2 more|arXiv (Cornell University)|Jan 18, 2026

Advanced Queuing Theory Analysis被引用 0

一句话总结

本文提出一个排队论框架，用于在抢占实例和按需云实例上调度对延迟敏感的作业，以在延迟约束下最小化平均成本，推导紧致与放松两种延迟 regime 的最优策略，并提出一个学习增强的自适应准入策略。

ABSTRACT

We study the problem of scheduling delay-sensitive jobs over spot and on-demand cloud instances to minimize average cost while meeting an average delay constraint. Jobs arrive as a general stochastic process, and incur different costs based on the instance type. This work provides the first analytical treatment of this problem using tools from queuing theory, stochastic processes, and optimization. We derive cost expressions for general policies, prove queue length one is optimal for low target delays, and characterize the optimal wait-time distribution. For high target delays, we identify a knapsack structure and design a scheduling policy that exploits it. An adaptive algorithm is proposed to fully utilize the allowed delay, and empirical results confirm its near-optimality.

研究动机与目标

• 将对延迟敏感作业在抢占和按需云实例上的带延迟约束的调度形式化为 G/G/1 排队问题。
• 表征在两种延迟 regime 下的最优策略：紧致（低 delta）和放松（高 delta）。
• 导出闭式成本表达式与最优等待时间分布；在放松 regime 中识别出一个背包（knapsack）结构。
• 提出一个自适应准入控制策略，在对抢占实例调度的同时学习最优的分数准入。
• 通过实证结果验证方法在不同抢占可用性下接近最优的性能。

提出的方法

• 将系统建模为包含抢占与按需服务的 G/G/1 队列，并为每个到达作业选择加入概率 q_n 与最大等待时间 X_n 的决策策略。
• 推导通用策略下的单位成本 E[C] = k - (k-1) * (E[A]/E[S_μ]) * (1 - π_0)。
• 证明紧致延迟 regime 下的最优队列长度为 1（δ ≤ P(A ≤ S_μ)/λ），并推导相应的 E[C] = k - (k-1) μ δ。
• 通过一个线性规划来刻画最优的最大等待时间分布，使其在延迟约束下最大化 P(X > S_μ)（定理 3）。
• 在放松延迟 regime 中识别出背包结构，并提出一个近似最优的三阶段贪心策略（定理 4）。
• 引入算法 1（自适应准入控制策略）以在抢占实例调度的同时学习最优分数准入 r*。
• 给出学习增强策略，在不同的抢占可用性模式下经验性收敛到最优行为。

实验结果

研究问题

• RQ1 如何在在抢占和按需实例调度时，在确保平均延迟不超过 δ 的前提下最小化每个作业的平均成本？
• RQ2 紧致延迟 regime 下，队列长度和等待时间策略的最优解是什么？
• RQ3 在单槽（队列长度 ≤ 1）且约束延迟下，最优的等待时间分布是什么？
• RQ4 如何利用背包式结构在放松延迟 regime 下实现接近最优？
• RQ5 自适应准入控制策略是否能在实际不同的抢占可用性模式下学习并接近最优策略？

主要发现

• 在一般的 G/G/1 设置中，每个作业的成本为 E[C] = k - (k-1) * (E[A]/E[S_μ]) * (1 - π_0)。
• 在紧致延迟 regime 中，最优队列长度为 1，且 E[C] = k - (k-1) μ δ 对于合适的 X 分布成立。
• 单槽策略下的最优最大等待时间分布通过线性规划求解，在延迟约束下最大化 P(X > S_μ)。
• 在放松延迟 regime 中，出现背包结构，从而实现近似最优的三阶段贪心调度策略。
• 自适应准入控制策略（算法 1）学习最优分数准入 r*，并通过实验证据显示出接近最优成本的收敛性。
• 实证结果显示自适应策略在不同的抢占可用性模式和到达过程下快速收敛。