[论文解读] Pilot-Abstraction: A Valid Abstraction for Data-Intensive Applications on HPC, Hadoop and Cloud Infrastructures?

André Luckow, Pradeep Mantha+1 more|arXiv (Cornell University)|Jan 21, 2015

Cloud Computing and Resource Management参考文献 30被引用 3

一句话总结

本文提出了一种扩展的Pilot-Abstraction，用于统一管理HPC、Hadoop和云基础设施中的资源，实现数据密集型工作流的无缝执行。通过将YARN和HDFS与Pilot-Abstraction集成，并引入基于内存后端（如Spark）的Pilot-Data Memory，该框架在迭代KMeans聚类任务中实现了相较于基于文件I/O的方案高达212倍的加速。

ABSTRACT

HPC environments have traditionally been designed to meet the compute demand of scientific applications and data has only been a second order concern. With science moving toward data-driven discoveries relying more on correlations in data to form scientific hypotheses, the limitations of HPC approaches become apparent: Architectural paradigms such as the separation of storage and compute are not optimal for I/O intensive workloads (e.g. for data preparation, transformation and SQL). While there are many powerful computational and analytical libraries available on HPC (e.g. for scalable linear algebra), they generally lack the usability and variety of analytical libraries found in other environments (e.g. the Apache Hadoop ecosystem). Further, there is a lack of abstractions that unify access to increasingly heterogeneous infrastructure (HPC, Hadoop, clouds) and allow reasoning about performance trade-offs in this complex environment. At the same time, the Hadoop ecosystem is evolving rapidly and has established itself as de-facto standard for data-intensive workloads in industry and is increasingly used to tackle scientific problems. In this paper, we explore paths to interoperability between Hadoop and HPC, examine the differences and challenges, such as the different architectural paradigms and abstractions, and investigate ways to address them. We propose the extension of the Pilot-Abstraction to Hadoop to serve as interoperability layer for allocating and managing resources across different infrastructures. Further, in-memory capabilities have been deployed to enhance the performance of large-scale data analytics (e.g. iterative algorithms) for which the ability to re-use data across iterations is critical. As memory naturally fits in with the Pilot concept of retaining resources for a set of tasks, we propose the extension of the Pilot-Abstraction to in-memory resources.

研究动机与目标

• 解决在HPC、Hadoop和云基础设施之间管理异构、数据密集型科学工作流日益增长的挑战。
• 克服传统HPC架构（如计算与存储分离）对I/O密集型工作负载的限制。
• 通过支持性能感知的工作负载映射和资源管理的通用抽象层，统一访问多种基础设施。
• 通过扩展Pilot-Abstraction以支持YARN、HDFS和内存内数据处理，实现HPC与Hadoop生态系统的互操作性。
• 通过引入可插拔的内存内数据后端Pilot-Data Memory，实现任务间共享持久数据，提升迭代数据分析的性能。

提出的方法

• 扩展Pilot-Abstraction以管理Hadoop YARN和HDFS资源，使数据密集型工作负载能够获得类似HPC的资源分配机制。
• 实现Pilot-Hadoop以在HPC集群上部署YARN，使Hadoop框架能够在以计算为中心的HPC资源（如Stampede）上运行。
• 引入Pilot-Data Memory作为统一的分布式内存数据存储抽象，供Pilot内的多个任务访问。
• 通过模块化适配器接口支持可插拔的内存后端（如Redis、Spark），实现灵活的部署与性能调优。
• 将Pilot-Abstraction与BigJob集成以实现工作流编排，支持端到端数据流水线，整合HPC与ABDS（Apache Big Data Stack）组件。
• 在HPC（Stampede、Gordon）和云基础设施上进行基准测试，评估MapReduce和KMeans工作负载在基于文件和内存后端下的性能表现。

实验结果

研究问题

• RQ1 Pilot-Abstraction能否有效扩展以支持Hadoop YARN和HDFS，从而实现HPC与数据密集型计算环境之间的互操作性？
• RQ2 通过Pilot-Data Memory实现的内存内数据处理，在迭代数据分析工作负载中与传统基于文件的I/O相比性能如何？
• RQ3 在数据密集型工作流中，使用基于Spark的内存后端相较于Redis或基于文件的存储，能实现多大的性能提升？
• RQ4 Pilot-Abstraction在多阶段、复杂数据工作流中，能在多大程度上实现对异构基础设施的统一、可扩展管理？
• RQ5 Pilot-Abstraction如何支持HPC与ABDS框架在单一、统一的数据流水线中的组合？

主要发现

• Pilot-Abstraction通过在HPC资源上支持YARN和HDFS部署，成功实现了HPC与Hadoop生态系统的互操作性，已在Stampede和Gordon上得到验证。
• 与基于文件的Pilot-Data后端相比，Pilot-Data Memory在KMeans聚类任务中实现了高达212倍的实测加速，显著提升了迭代分析的性能。
• 基于Spark的内存后端在加速方面相比Redis最高提升19倍，且在可扩展性方面表现更优，主要得益于Spark原生的分布式架构。
• Redis后端仅实现最高11倍的加速，主要因其非分布式部署方式，凸显了原生分布式内存系统的重要性。
• Pilot-Abstraction能够高效编排HPC与ABDS框架之间的数据密集型工作流，支持从数据摄取到高级分析的各个阶段。
• 该框架的可插拔后端设计支持与新兴技术（如基于Docker的容器）灵活集成，确保了对不断演进基础设施的可扩展性。