[论文解读] The Serverless Scheduling Problem and NOAH

Manuel Stein|arXiv (Cornell University)|Sep 17, 2018

Scheduling and Optimization Algorithms参考文献 6被引用 11

一句话总结

本文提出 NOAH，一种用于无服务器调度的非合作在线分配启发式算法，通过调节队列等待时间阈值来平衡响应时间和资源成本。通过虚拟分配需求并控制容器的频繁启停，NOAH 在高利用率下优于 OpenWhisk 和非合作博弈负载均衡方法，通过可配置的延迟与成本权衡，实现了更低的响应时间与更高的容器利用率。

ABSTRACT

The serverless scheduling problem poses a new challenge to Cloud service platform providers because it is rather a job scheduling problem than a traditional resource allocation or request load balancing problem. Traditionally, elastic cloud applications use managed virtual resource allocation and employ request load balancers to orchestrate the deployment. With serverless, the provider needs to solve both the load balancing and the allocation. This work reviews the current Apache OpenWhisk serverless event load balancing and a noncooperative game-theoretic load balancing approach for response time minimization in distributed systems. It is shown by simulation that neither performs well under high system utilization which inspired a noncooperative online allocation heuristic that allows tuning the trade-off between for response time and resource cost of each serverless function.

研究动机与目标

• 为解决在高系统利用率下，无服务器平台中响应时间与资源成本之间的平衡挑战。
• 克服现有调度器（如 Apache OpenWhisk 和非合作博弈论负载均衡）在大规模场景下因过度容器频繁启停而导致的性能下降问题。
• 设计一种可配置的在线分配启发式算法，使服务提供商能够根据特定应用的响应时间与成本需求，灵活调节扩展行为。
• 在模拟的分布式无服务器环境中，评估容器利用率、响应时间与资源成本之间的权衡。

提出的方法

• NOAH 使用一种非合作在线分配启发式算法，通过虚拟分配需求来控制实例扩展，减少容器频繁启停。
• 应用 Erlang-C 公式估算等待时间，并根据期望的响应时间阈值（α）配置所需主机数量。
• 该启发式方法同时限制每台主机的并发事件数和总容器数量，防止过度资源分配和空闲容器被驱逐。
• NOAH 仅在必要时动态扩展，仅覆盖最少所需的主机集合，并释放未使用的虚拟机以降低成本。
• 它将负载均衡与资源分配解耦，使响应时间与资源利用率可独立调节。
• 通过模拟评估不同到达率（Λ）、等待时间阈值（α）和容器初始化时间（500 ms）下的性能表现。

实验结果

研究问题

• RQ1 在高系统利用率下，NOAH 与 Apache OpenWhisk 及非合作博弈论负载均衡在响应时间和容器频繁启停方面相比如何？
• RQ2 通过调节等待时间阈值 α，NOAH 在多大程度上可减少冷启动并提升容器利用率？
• RQ3 在 NOAH 中，不同 α 设置下响应时间与资源成本之间的权衡关系如何体现？
• RQ4 容器初始化时间与消息分布对无服务器平台调度性能有何影响？

主要发现

• NOAH 在工作负载增加时保持冷启动率稳定，而 OpenWhisk 在每秒 50–60 个消息时因频繁启停导致性能显著下降。
• 在高负载下，当 α = 10 μs（严格响应时间）时，NOAH 实现最低响应时间与最高容器利用率；而 α = 10 ms 时主机数量更少但频繁启停更严重。
• 由于减少了驱逐和更好的实例复用，NOAH 的容器利用率显著高于 OpenWhisk 和非合作负载均衡，尤其在高负载下表现更优。
• NOAH 中的容器创建数量随工作负载成比例增长，而 OpenWhisk 和非合作方法因激进的驱逐策略和随机负载分配导致创建数量出现剧烈峰值。
• NOAH 通过完全释放未使用的主机，仅覆盖最少必需的站点集合，从而降低资源成本；而 OpenWhisk 和非合作方法则维持完整的容器池利用率。
• 模拟结果表明，允许更长等待时间（α = 10 ms）会减少主机覆盖范围并增加频繁启停，而更严格的阈值（α = 10 μs）则能提升利用率并减少冷启动。