[论文解读] Scylla: A Mesos Framework for Container Based MPI Jobs

Pankaj Saha, Angel Beltre+1 more|arXiv (Cornell University)|Jan 1, 2019

Cloud Computing and Resource Management参考文献 10被引用 10

一句话总结

Scylla 是一个 Mesos 框架，将 Apache Mesos 与 Docker Swarm 集成，以在基于云的 HPC 集群上实现容器化 MPI 作业的高效编排。通过基于 CPU、内存和网络需求的策略驱动调度，Scylla 在虚拟机之间协同调度容器，以最小化资源争用和网络开销，从而提升 CPU/内存密集型和网络密集型 MPI 工作负载的性能。

ABSTRACT

Open source cloud technologies provide a wide range of support forcreating customized compute node clusters to schedule tasks andmanaging resources. In cloud infrastructures such asJetstream and Chameleon, which are used for scientific research, usersreceive complete control of the Virtual Machines (VM) that are allocated tothem. Importantly, users get root access to the VMs. This provides anopportunity for HPC users to experiment with new resource managementtechnologies such as Apache Mesos that have proven scalability,flexibility, and fault tolerance. To ease the development anddeployment of HPC tools on the cloud, the containerization technologyhas matured and is gaining interest in the scientific community. Inparticular, several well known scientific code bases now have publiclyavailable Docker containers. While Mesos provides support for Dockercontainers to execute individually, it does not provide support forcontainer inter-communication or orchestration of the containers for aparallel or distributed application. In this paper, we present thedesign, implementation, and performance analysis of a Mesos framework,{\it Scylla}, which integrates Mesos with Docker Swarm to enableorchestration of MPI jobs on a cluster of VMs acquired from theChameleon cloud\cite{ChameleonCloud}. Scylla uses Docker Swarm for communication betweencontainerized tasks (MPI processes) and Apache Mesos for resourcepooling and allocation. Scylla allows a policy driven approach todetermine how the containers should be distributed across the nodesdepending on the CPU, memory, and network throughput requirement foreach application.

研究动机与目标

• 解决 Apache Mesos 在科学工作负载中缺乏原生 MPI 和容器间通信支持的问题。
• 在 Chameleon 等云环境里，实现 Docker 化 MPI 进程在虚拟机之间的高效协同调度与分发。
• 提供一种基于策略的容器放置方法，根据应用程序特定的资源需求（CPU、内存、网络）进行优化。
• 通过结合 Mesos 的资源池化机制与 Docker Swarm 的容器网络和编排能力，提升资源利用率和应用吞吐量。
• 评估不同调度策略和工作负载下容器化 MPI 作业的性能表现。

提出的方法

• Scylla 实现为一个 Mesos 框架，利用 Mesos 在虚拟机之间进行资源分配与调度。
• 它利用 Docker Swarm 作为底层编排器，负责管理 MPI 进程的容器网络和进程间通信。
• 该框架采用策略驱动的调度器，通过分析 CPU、内存和网络需求，确定容器在节点间的最优放置位置。
• Mesos 的资源供给通过主导资源公平（DRF）机制进行协商，而 Docker Swarm 负责容器生命周期管理与覆盖网络。
• 系统支持在同一节点上协同调度多个容器，以减少节点间通信开销。
• 该框架与 Chameleon 等云基础设施集成，用户可在虚拟机上获得 root 权限，并可部署自定义资源管理堆栈。

实验结果

研究问题

• RQ1 如何利用云原生资源管理器（如 Apache Mesos）在容器化环境中高效编排 MPI 工作负载？
• RQ2 哪些调度策略能最小化分布式 MPI 作业中因容器间通信和资源争用导致的性能下降？
• RQ3 Docker Swarm 与 Mesos 的集成如何影响 CPU 密集型、内存密集型和网络密集型 MPI 应用的性能表现？
• RQ4 策略驱动的容器放置在多大程度上提升了云环境 HPC 集群中的资源利用率和应用吞吐量？
• RQ5 将容器部署在同一节点与分布在多个节点之间，在性能上存在哪些权衡？

主要发现

• Scylla 通过结合 Mesos 的资源管理与 Docker Swarm 的容器间网络通信，成功实现了容器化 MPI 作业的端到端编排。
• 策略驱动的调度显著提升了性能，通过根据应用特征进行容器放置——将网络密集型作业集中部署，避免 CPU/内存密集型工作负载的资源争用。
• 对于网络密集型 MPI 应用，将容器部署在同一节点显著降低了通信开销并提升了吞吐量。
• 对于 CPU 和内存密集型工作负载，将容器分布在不同节点上减少了资源争用，相比集中部署，执行时间更短。
• Mesos 与 Docker Swarm 的集成实现了高效的协同调度，提升了资源利用率并减少了空闲时间。
• 性能评估表明，Docker Swarm 中的虚拟网络通信开销极小，但网络受限的应用对节点间通信延迟较为敏感。