[论文解读] Public Cluster : parallel machine with multi-block approach

Zaenal Akbar, Slamet+5 more|ArXiv.org|Aug 4, 2007

Parallel Computing and Optimization Techniques参考文献 1被引用 6

一句话总结

本文提出一种用于公共集群的多区块架构，通过为每位用户运行带有自定义配置的独立守护进程，实现并发、多用户并行计算。该系统采用基于网页的控制与监控界面，性能评估显示对整体效率影响极小，证明其在类似 LIPI 公共集群的共享高性能计算（HPC）环境中具备可靠性。

ABSTRACT

We introduce a new approach to enable an open and public parallel machine which is accessible for multi users with multi jobs belong to different blocks running at the same time. The concept is required especially for parallel machines which are dedicated for public use as implemented at the LIPI Public Cluster. We have deployed the simplest technique by running multi daemons of parallel processing engine with different configuration files specified for each user assigned to access the system, and also developed an integrated system to fully control and monitor the whole system over web. A brief performance analysis is also given for Message Parsing Interface (MPI) engine. It is shown that the proposed approach is quite reliable and affect the whole performances only slightly.

研究动机与目标

• 实现一个可供多名用户同时访问的公共共享并行计算环境。
• 支持来自不同用户的多个独立作业（区块）在单一集群上并行运行。
• 设计一种可扩展且可靠的系统架构，适用于公共高性能计算（HPC）集群。
• 实现一个集中式的基于网页的接口，用于系统控制与实时监控。
• 评估多区块方法对消息传递接口（MPI）工作负载的性能影响。

提出的方法

• 部署多个并行处理引擎守护进程，每个均配置有用户特定的设置，以实现对单个作业的隔离与管理。
• 将每位用户或作业组分配至一个独立的“区块”，并分配专用资源与配置。
• 为每个守护进程使用独立的配置文件，以确保隔离与独立运行。
• 开发一个集成的基于网页的系统，实现实时监控与控制所有集群活动。
• 实现一个消息传递接口（MPI）引擎，用于分布式计算工作负载。
• 对 MPI 引擎进行性能分析，以评估系统开销与可靠性。

实验结果

研究问题

• RQ1 如何使公共集群在无干扰的情况下支持并发、多用户的并行工作负载？
• RQ2 何种架构方法可确保在多名用户同时运行作业时实现隔离与可靠性？
• RQ3 多区块守护进程架构在多大程度上影响整体系统性能？
• RQ4 集中式网页接口是否能有效管理与监控多用户集群环境？
• RQ5 运行多个配置不同的守护进程会引入多大的性能开销？

主要发现

• 多区块方法成功实现了在共享集群基础设施上并发执行多个用户作业。
• 尽管管理多个隔离守护进程的复杂性较高，系统仍保持了高度可靠性。
• 多区块架构导致的性能下降极小，对整体系统效率仅造成轻微影响。
• 基于网页的监控与控制系统提供了对集群运行状况的有效实时可视化。
• MPI 引擎评估证实该方法适用于生产环境下的公共 HPC 使用。
• 在 LIPI 公共集群上的部署证明了其实际可行性与可扩展性。