[论文解读] Towards automation of computing fabrics using tools from the fabric management workpackage of the EU DataGrid project

O. Bärring|ArXiv.org|May 28, 2003

Distributed and Parallel Computing Systems参考文献 2被引用 5

一句话总结

本文提出了一套框架，利用欧盟DataGrid项目Fabric管理工作组开发的工具，实现对大规模计算资源的自动化管理。该框架整合了集中式配置管理、性能/异常监控、节点安装和服务配置，使用标准Linux工具（如rpm、kickstart）实现，使企业级计算农场的可扩展自动化管理在2003年第三季度成为可能。

ABSTRACT

The EU DataGrid project workpackage 4 has as an objective to provide the necessary tools for automating the management of medium size to very large computing fabrics. At the end of the second project year subsystems for centralized configuration management (presented at LISA'02) and performance/exception monitoring have been delivered. This will soon be augmented with a subsystem for node installation and service configuration, which is based on existing widely used standards where available (e.g. rpm, kickstart, init.d scripts) and clean interfaces to OS dependent components (e.g. base installation and service management). The three subsystems together allow for centralized management of very large computer farms. Finally, a fault tolerance system is being developed for tying together the above subsystems to form a complete framework for automated enterprise computing management by 3Q03. All software developed is open source covered by the EU DataGrid project license agreements. This article describes the architecture behind the designed fabric management system and the status of the different developments. It also covers the experience with an existing tool for automated configuration and installation that have been adapted and used from the beginning to manage the EU DataGrid testbed, which is now used for LHC data challenges.

研究动机与目标

• 解决在高性能计算环境中管理中大型规模计算资源的挑战。
• 为大规模计算机农场开发一个集中式、自动化的管理框架。
• 将广泛采用的Linux标准（如rpm、kickstart）整合到统一的资源管理架构中。
• 通过集成监控、配置和安装子系统，提升容错能力和系统可靠性。
• 在欧盟DataGrid项目许可协议下发布开源工具，以促进广泛部署和可扩展性。

提出的方法

• 利用现有的开放标准（如rpm、kickstart和init.d脚本）进行系统安装和服务配置。
• 为操作系统相关组件设计清晰、抽象的接口，以提升可移植性和可维护性。
• 集成三个核心子系统：集中式配置管理、性能/异常监控，以及节点安装/服务配置。
• 开发容错系统，协调并统一三个子系统，形成完整的自动化框架。
• 采用模块化、组件化架构，支持分阶段部署和可扩展性。
• 使用欧盟DataGrid项目许可协议下的开源软件，以确保透明度和社区采纳。

实验结果

研究问题

• RQ1 如何利用标准化工具高效且自动地管理大规模计算资源？
• RQ2 哪些架构模式能够实现配置、监控和安装子系统在统一管理框架中的集成？
• RQ3 广泛使用的Linux标准（如rpm、kickstart）在多大程度上可被用于自动化资源管理？
• RQ4 如何通过子系统协调实现在分布式资源管理系统中的容错能力？
• RQ5 在真实世界高能物理计算测试平台中部署此类系统面临哪些实际挑战与优势？

主要发现

• 该资源管理成功地将配置管理、性能监控和节点安装整合到一个统一的集中式框架中。
• 该系统已在欧盟DataGrid测试平台中投入使用，支持LHC数据挑战，证明了其在实际场景中的适用性。
• 使用rpm和kickstart等标准Linux工具，实现了良好的兼容性并降低了开发开销。
• 模块化设计支持分阶段部署，配置和监控子系统已在项目第二年交付。
• 容错系统正在开发中，旨在统一各子系统，目标是在2003年第三季度实现完全自动化。
• 所有软件组件均以开源形式发布，遵循欧盟DataGrid项目许可协议，促进了透明度和代码复用。