[论文解读] Web-based Interface in Public Cluster

Zaenal Akbar, L. T. Handoko|ArXiv.org|Nov 4, 2007

Distributed and Parallel Computing Systems参考文献 6被引用 5

一句话总结

本文提出了一种安全的、基于网页的接口，用于公开访问的集群计算机（LIPI Public Cluster），使教育用途的并行编程能够实现匿名、免费访问。该系统采用自定义网页界面，集成资源分配、基于SSH的节点控制以及通过C3和Ganglia工具实现的实时监控，支持安全、多用户、并发执行，且管理开销极低——在发展中国家的初学者和小型研究团队中证明了其有效性。

ABSTRACT

A web-based interface dedicated for cluster computer which is publicly accessible for free is introduced. The interface plays an important role to enable secure public access, while providing user-friendly computational environment for end-users and easy maintainance for administrators as well. The whole architecture which integrates both aspects of hardware and software is briefly explained. It is argued that the public cluster is globally a unique approach, and could be a new kind of e-learning system especially for parallel programming communities.

研究动机与目标

• 开发一个安全、公开可访问的集群环境，用于并行编程教育，尤其适用于发展中国家的初学者和小型研究团队。
• 解决在资源有限、硬件异构的共享集群上管理并发、匿名用户作业的挑战。
• 设计一个基于网页的接口，确保系统安全，同时为用户和管理员提供友好访问和实时监控功能。
• 在不损害系统稳定性或性能的前提下，实现灵活、动态的资源分配以应对不同用户请求。
• 利用开源工具和极少的管理开销，创建一个可扩展、低成本的并行计算与高性能计算电子学习平台。

提出的方法

• 开发了基于网页的接口作为所有用户的中心访问点，取代传统的SSH访问，以确保安全性和可用性。
• 系统使用无密码SSH及RSA/DSA密钥，实现网关与集群节点之间的安全、自动通信。
• 资源分配通过基于扩展遗传算法的自定义算法管理，用户经批准后被分配固定节点块。
• 集群命令与控制（C3）工具集自动化跨多个节点的命令执行，显著提升系统管理效率。
• 将Ganglia集成到网页界面中，提供集群状态和性能指标的实时监控。
• 该架构支持异构节点（从Intel 486到Athlon），并允许对单个节点进行动态启停控制，以优化能效和资源利用。

实验结果

研究问题

• RQ1 当允许来自不同技术水平的用户进行匿名、无限制访问时，如何安全可靠地运行一个公共集群？
• RQ2 何种系统架构能够实现在共享、资源有限的集群上安全地并发执行多个独立的并行程序？
• RQ3 基于网页的接口如何在无需用户身份认证或事先协议的情况下，有效管理资源分配、监控和安全？
• RQ4 自动化、实时监控在公共教育计算环境中对维持系统稳定性和可用性起到何种作用？
• RQ5 一个低成本、开源的集群配合网页接口，能否作为发展中国家并行编程电子学习平台的有效解决方案？

主要发现

• 基于网页的接口成功实现了对LIPI Public Cluster的匿名、安全且用户友好的教育用途访问，无需用户注册或身份认证。
• 通过分配固定节点块，系统支持多个用户作业的并发执行，防止干扰并确保稳定性。
• 将C3和Ganglia工具集成到网页界面中，实现了实时监控与控制，显著提升了系统可管理性和透明度。
• 基于扩展遗传方法的自定义资源分配算法，能够在不进行运行时动态重构的情况下，实现高效且稳定的集群资源分配。
• 该系统已广泛应用于从高中生到大学生的各类用户，证实其作为并行编程教育工具的有效性。
• 该架构具有可移植性和可扩展性，适用于其他现有集群，特别是老旧或利用率较低的系统，为公共高性能计算电子学习提供低成本解决方案。