[论文解读] P*: A Model of Pilot-Abstractions

André Luckow, Mark Santcroos+4 more|arXiv (Cornell University)|Jul 27, 2012

Distributed and Parallel Computing Systems参考文献 15被引用 25

一句话总结

本文提出了 P*，一个简洁但完整的 Pilot-Job 概念模型，统一了分布式计算基础设施中各种实现。通过将 Condor-G 和 DIANE 等框架映射到 P*，作者建立了一个互操作性的共同基础，通过可移植的 Pilot-API 进行验证，并展示了多个框架的并发使用，实现了在网格和云环境中的统一、可扩展和可伸缩执行。

ABSTRACT

Pilot-Jobs support effective distributed resource utilization, and are arguably one of the most widely-used distributed computing abstractions - as measured by the number and types of applications that use them, as well as the number of production distributed cyberinfrastructures that support them. In spite of broad uptake, there does not exist a well-defined, unifying conceptual model of Pilot-Jobs which can be used to define, compare and contrast different implementations. Often Pilot-Job implementations are strongly coupled to the distributed cyber-infrastructure they were originally designed for. These factors present a barrier to extensibility and interoperability. This pa- per is an attempt to (i) provide a minimal but complete model (P*) of Pilot-Jobs, (ii) establish the generality of the P* Model by mapping various existing and well known Pilot-Job frameworks such as Condor and DIANE to P*, (iii) derive an interoperable and extensible API for the P* Model (Pilot-API), (iv) validate the implementation of the Pilot-API by concurrently using multiple distinct Pilot-Job frameworks on distinct production distributed cyberinfrastructures, and (v) apply the P* Model to Pilot-Data.

研究动机与目标

• 解决 Pilot-Job 缺乏统一概念模型的问题，该问题阻碍了分布式计算基础设施之间的互操作性和可扩展性。
• 提供一个最小但完整的模型（P*），以捕捉不同实现中 Pilot-Job 的本质语义。
• 建立一个共同的分析框架，用于比较和对比现有 Pilot-Job 框架，如 Condor-G、DIANE 和 BigJob。
• 设计并验证一个基于 P* 模型的互操作 Pilot-API，以实现在生产基础设施中多个 Pilot-Job 框架的并发使用。
• 将 P* 模型扩展以包含 Pilot-Data 抽象，实现计算与数据在分布式执行中的对称处理。

提出的方法

• 通过分析多个 Pilot-Job 框架推导出 P* 模型，识别出核心抽象，如 Pilot-Job、Pilot-Manager 和任务管理。
• 将现有框架（如 Condor-G/Glide-in、DIANE、BigJob）映射到 P* 模型，以证明语义一致性和概念统一性。
• 设计 Pilot-API 作为标准化接口，抽象多个底层 Pilot-Job 实现，实现透明互操作。
• 在生产级基础设施（如 OSG、XSEDE、EGI）上实现并验证 Pilot-API，展示不同框架的并发使用。
• 将 P* 模型扩展以包含 Pilot-Data（PD）抽象，实现分布式执行中数据与计算的对称处理。
• 使用性能测量和真实工作负载评估 Pilot-API 在异构环境中的效率、可扩展性和互操作性。

实验结果

研究问题

• RQ1 如何定义一个最小、完整且统一的 Pilot-Job 概念模型，以支持对多种实现的比较与对比？
• RQ2 现有 Pilot-Job 框架（如 Condor-G 和 DIANE）在不损失功能的前提下，能在多大程度上被语义地映射到一个共同模型？
• RQ3 能否设计并验证一个标准化的、互操作的 API（Pilot-API），以实现在生产级计算基础设施中多个 Pilot-Job 框架的并发使用？
• RQ4 如何将 Pilot-Job 抽象泛化以包含数据管理，从而实现统一的 Pilot-Data 抽象？
• RQ5 在异构、生产级分布式计算环境中使用 Pilot-API 会带来怎样的性能和可扩展性影响？

主要发现

• P* 模型通过将核心抽象映射到共同概念框架，成功统一了多种 Pilot-Job 框架（包括 Condor-G/Glide-in、DIANE 和 BigJob）。
• Pilot-API 实现了在生产基础设施（如 OSG 和 XSEDE）上，多个不同 Pilot-Job 框架（如 Condor-G 和 DIANE）的并发互操作，首次展示了此类并发互操作。
• 性能测量表明，Pilot-API 支持高效、可扩展地执行数据密集型工作负载，得益于动态资源分配和灵活调度。
• 将 P* 模型扩展以包含 Pilot-Data 抽象，实现了计算与数据的对称处理，为未来数据/计算亲和性及资源放置策略的研究提供了支持。
• Pilot-API 已在生产规模的科学工作流中部署，验证了其在多种分布式计算基础设施中的实际效用和鲁棒性。
• 研究表明，尽管 Pilot-Job 框架通常与其本机基础设施（如 Condor-G 与 OSG）紧密耦合，但 P* 模型提供了一个关键的抽象层，可克服此类耦合并实现可移植性和可重用性。