[论文解读] Portable, high-performance containers for HPC

Lucas Benedicic, Felipe A. Cruz+2 more|arXiv (Cornell University)|Apr 11, 2017

Cloud Computing and Resource Management参考文献 15被引用 11

一句话总结

本文提出对HPC用容器运行时Shifter的扩展，通过直接访问GPU加速器和高速网络，实现超级计算机上可移植的高性能容器化应用执行。该方案在多种HPC系统上实现了接近原生性能，同时通过兼容Docker的容器和优化的系统级集成保持了软件可移植性，显著缩短了I/O密集型Python工作负载的启动时间。

ABSTRACT

Building and deploying software on high-end computing systems is a challenging task. High performance applications have to reliably run across multiple platforms and environments, and make use of site-specific resources while resolving complicated software-stack dependencies. Containers are a type of lightweight virtualization technology that attempt to solve this problem by packaging applications and their environments into standard units of software that are: portable, easy to build and deploy, have a small footprint, and low runtime overhead. In this work we present an extension to the container runtime of Shifter that provides containerized applications with a mechanism to access GPU accelerators and specialized networking from the host system, effectively enabling performance portability of containers across HPC resources. The presented extension makes possible to rapidly deploy high-performance software on supercomputers from containerized applications that have been developed, built, and tested in non-HPC commodity hardware, e.g. the laptop or workstation of a researcher.

研究动机与目标

• 解决在硬件和软件堆栈各异的HPC系统上部署高性能科学应用的挑战。
• 实现容器化HPC工作负载的性能可移植性，特别是针对GPU加速和网络密集型应用。
• 降低在HPC集群上运行的基于Python的科学应用中动态链接和文件系统访问的开销。
• 通过允许研究人员在通用硬件上开发和测试应用，并直接部署到超级计算机上，简化软件部署工作流程。
• 通过容器化和Docker及系统级优化，实现高性能的同时确保可移植性。

提出的方法

• 扩展Shifter容器运行时，向容器化应用暴露主机级别的GPU和高速网络互连。
• 使用Docker构建的容器镜像，确保开发和HPC生产系统之间软件环境的一致性和可移植性。
• 在计算节点上本地挂载容器镜像，以减少动态库加载期间重复的元数据服务器请求。
• 利用Linux内核的系统调用接口，实现容器内对硬件资源的低开销、高性能访问。
• 与HPC集群的并行文件系统（如Lustre）集成，优化I/O密集型工作负载（如Python的动态链接）的访问模式。
• 使用CUDA的n体模拟和Pynamic等标准HPC工作负载进行性能基准测试。

实验结果

研究问题

• RQ1 容器化HPC应用在访问GPU和高速网络时能否实现接近原生性能？
• RQ2 在并行文件系统上，容器化对基于Python的科学应用的启动时间和I/O性能有何影响？
• RQ3 容器化应用在异构HPC系统之间在多大程度上能保持性能可移植性？
• RQ4 通过优化文件系统访问的容器化部署，能否降低Python中动态链接的开销？
• RQ5 是否可行将运行在通用硬件上的容器化应用直接部署到超级计算机上而不会导致性能下降？

主要发现

• 带有GPU支持的Shifter扩展在CUDA的n体模拟中实现了18.34 GFLOPS（原生）和18.34 GFLOPS（容器化），证明了接近原生性能。
• 在Pynamic基准测试中，容器化部署通过减少重复的元数据服务器请求，将启动时间降低，对于超过3,000个进程的任务性能提升了30%。
• 由于每个容器镜像仅需一次MDS请求，容器化Python应用在Lustre文件系统上的开销显著降低，相比原生执行中成千上万次请求有明显改善。
• 该方法实现了对专用库和硬件的透明访问，使容器能够加载与ABI兼容的系统库而不会造成性能损失。
• 该工作流在HPC系统间实现了完整的性能可移植性，在Piz Daint及其他GPU加速集群上均表现出一致的结果。
• 该方案降低了HPC用户的使用门槛和部署复杂度，同时保持高性能，提升了可用性和生产力。