[论文解读] Scalable, Fast Cloud Computing with Execution Templates

Omid Mashayekhi, Hang Qu+2 more|arXiv (Cornell University)|Jun 6, 2016

Cloud Computing and Resource Management参考文献 21被引用 3

一句话总结

本文提出了执行模板（execution templates），一种控制平面抽象机制，用于在云计算环境中缓存重复性、计算密集型工作负载的调度决策。通过将重复的计算循环视为可重用模板，该系统减少了调度开销，并在 100 个节点（800 个核心）上实现了相较于 Spark 和 Naiad 的 16–43 倍性能提升，即使任务时长短至 100μs 也能保持高效。

ABSTRACT

Large scale cloud data analytics applications are often CPU bound. Most of these cycles are wasted: benchmarks written in C++ run 10-51 times faster than frameworks such as Naiad and Spark. However, calling faster implementations from those frameworks only sees moderate (3-5x) speedups because their control planes cannot schedule work fast enough. This paper presents execution templates, a control plane abstraction for CPU-bound cloud applications, such as machine learning. Execution templates leverage highly repetitive control flow to cache scheduling decisions as {\it templates}. Rather than reschedule hundreds of thousands of tasks on every loop execution, nodes instantiate these templates. A controller's template specifies the execution across all worker nodes, which it partitions into per-worker templates. To ensure that templates execute correctly, controllers dynamically patch templates to match program control flow. We have implemented execution templates in Nimbus, a C++ cloud computing framework. Running in Nimbus, analytics benchmarks can run 16-43 times faster than in Naiad and Spark. Nimbus's control plane can scale out to run these faster benchmarks on up to 100 nodes (800 cores).

研究动机与目标

• 解决现代云分析框架在运行高度优化的计算密集型代码时，因控制平面缓慢而导致的性能瓶颈问题。
• 克服现有框架（如 Spark 和 Naiad）在运行 C++ 优化内核时无法扩展至 20 个以上节点的限制，原因在于控制器发生饱和。
• 通过将重复的控制流抽象为可重用的调度模板，实现云环境中细粒度任务（短至 100μs）的大规模、高吞吐量执行。
• 设计一种新型控制平面抽象，使集中式控制器能够以比以往系统快 100 倍的速度管理极高任务速率，而不会成为瓶颈。
• 支持复杂的真实工作负载（如高性能模拟，例如 PhysBAM），实现极低的运行时开销和接近原生性能。

提出的方法

• 提出执行模板作为控制平面抽象，用于缓存计算密集型应用中重复循环的调度决策。
• 将作业的控制流分解为控制器级模板和每个工作节点的模板，实现跨节点的任务划分，同时保留依赖关系。
• 使用动态程序分析在运行时动态修补模板，以应对控制流和数据流的变化，确保在动态行为下仍保持正确性。
• 在 Nimbus（一个基于 C++ 的分析框架）中实现该抽象，该框架使用可变数据对象支持原地计算，从而减少内存开销。
• 利用单一控制器通过模板一次性发出一条消息，实例化数千个任务，显著降低调度频率和延迟。
• 优化对亚毫秒级任务（短至 100μs）的调度，使原本仅限于 HPC 或 MPI 环境的工作负载也能在云中高效运行。

实验结果

研究问题

• RQ1 为何现代云框架（如 Spark 和 Naiad）在运行 C++ 优化内核时仅实现 3–5 倍的性能提升，尽管内核本身快达 51 倍？
• RQ2 为何在现有框架中，当在多个节点上扩展计算优化工作负载时，控制平面会成为瓶颈？
• RQ3 能否设计一种控制平面抽象，使其在不牺牲正确性或可扩展性的前提下，处理极高的任务速率（如每毫秒 1000 个任务）？
• RQ4 如何在循环的重复迭代中缓存并重用调度决策，同时在控制流动态变化的情况下仍保持正确性？
• RQ5 具备此类抽象的云框架在多大程度上能够支持真实世界、复杂的工作负载（如高性能模拟），并实现微秒级任务粒度？

主要发现

• 机器学习基准测试的 C++ 实现比其 Spark 版本快达 51 倍，但通过 JNI 调用这些内核仅实现 3–5 倍性能提升，原因在于控制平面瓶颈。
• 当扩展至超过 20 个工作节点时，Spark 和 Naiad 的控制平面发生饱和，导致完成时间不降反升，主因是调度开销过大。
• 借助执行模板，Nimbus 在相同优化基准测试中相较 Spark 实现 16–43 倍性能提升，相较 Naiad 实现 16–23 倍性能提升，且可扩展至 100 个节点（800 个核心）。
• 执行模板通过缓存调度决策并降低调度频率，使控制器能够处理短至 100μs 的任务——比以往系统支持的最短任务时间快 100 倍。
• 原本为 MPI 手动调优的 PhysBAM 模拟库，在使用执行模板的 Nimbus 中运行时，性能仅比原生 MPI 低约 15%，证明了该技术在真实场景中的适用性。
• 运行时对模板的动态修补确保了即使在控制流或数据流变化的情况下仍能保持正确性，使该抽象能够在多样且复杂的工作负载上稳定运行，且不损失性能。