[论文解读] The NorduGrid architecture and tools

P. Eerola, T. Ekelöf+8 more|ArXiv.org|May 31, 2003

Distributed and Parallel Computing Systems参考文献 3被引用 19

一句话总结

NorduGrid 项目基于 Globus Toolkit 设计了一种轻量级、去中心化的网格架构，以满足高能物理领域对大型强子对撞机（LHC）可扩展、生产级计算的需求。该架构引入了用户界面（User Interface）、网格管理器（Grid Manager）以及扩展的资源规范语言（xRSL）等自定义组件，用于作业与数据管理，实现了高效的批处理和动态资源分配，且无单点故障问题。

ABSTRACT

The NorduGrid project designed a Grid architecture with the primary goal to meet the requirements of production tasks of the LHC experiments. While it is meant to be a rather generic Grid system, it puts emphasis on batch processing suitable for problems encountered in High Energy Physics. The NorduGrid architecture implementation uses the \globus{} as the foundation for various components, developed by the project. While introducing new services, the NorduGrid does not modify the Globus tools, such that the two can eventually co-exist. The NorduGrid topology is decentralized, avoiding a single point of failure. The NorduGrid architecture is thus a light-weight, non-invasive and dynamic one, while robust and scalable, capable of meeting most challenging tasks of High Energy Physics.

研究动机与目标

• 应对大型强子对撞机（LHC）带来的计算与数据管理挑战，其每年产生的原始数据高达 1 PB。
• 克服现有中间件（如 Globus Toolkit 和 EDG）的局限性，包括缺乏作业代理、数据调度能力不足以及中心化瓶颈问题。
• 设计一种生产就绪、非侵入式的网格基础设施，使资源拥有者保有控制权，同时实现无缝的作业与数据管理。
• 通过轻量级、面向站点管理员的配置方式，实现对系统状态的实时监控与配置，且系统资源需求极低。

提出的方法

• 以 Globus Toolkit 为基础构建去中心化的网格架构，不修改其核心组件，以确保互操作性。
• 开发用户界面（UI）作为客户端服务，用于作业提交、资源发现与状态监控，避免使用中心化代理。
• 实现网格管理器（GM），负责作业执行、动态文件调度（预调度与后调度），以及执行节点与存储单元之间的协调。
• 将资源规范语言（RSL）扩展为 xRSL，新增 inputFiles 和 outputFiles 等属性，用于描述复杂的文件移动工作流。
• 利用基于 MDS 的信息系统发布和查询实时系统状态，通过基于 Web 的网格监控器实现动态监控。
• 通过两个配置文件（globus.conf 和 nordugrid.conf）简化部署，实现仅需极少专业知识即可在多样化的站点上快速配置。

实验结果

研究问题

• RQ1 如何设计一种可扩展、去中心化的网格架构，以满足 LHC 实验对高要求批处理和数据管理的需要？
• RQ2 哪些架构与实现选择能够实现高效的作业代理与动态数据调度，同时避免引入单点故障？
• RQ3 现有中间件（如 Globus Toolkit）在多大程度上可被扩展以支持高能物理领域生产级工作负载？
• RQ4 如何在异构站点上以最小的管理开销和系统依赖，实现轻量级、非侵入式网格系统的部署？

主要发现

• NorduGrid 架构通过避免中心化瓶颈，成功支持大规模、生产级工作负载，实现了作业与数据管理的动态去中心化。
• 扩展的 xRSL 语言可精确描述复杂作业工作流，包括在分布式存储单元之间对大型输入与输出文件进行预调度与后调度。
• 基于 Web 的网格监控器通过查询基于 MDS 的信息系统，提供 30 秒默认刷新间隔的实时交互式系统监控。
• 采用 globus.conf 和 nordugrid.conf 的配置模式，使得 NorduGrid 站点可在数小时内快速部署于地理分布广泛的区域，包括加拿大与日本。
• 独立的客户端软件包以 tarball 形式分发，内嵌 Globus 组件，使用户无需完整系统安装即可与网格及其他网格交互。
• 该架构在支持 ATLAS 数据挑战并作为 LHC 计算工作流的测试平台过程中，展现出强大的鲁棒性与可扩展性。