[论文解读] Running CMS software on GRID Testbeds

D. Bonacorsi, P. Capiluppi+28 more|arXiv (Cornell University)|Jun 4, 2003

Distributed and Parallel Computing Systems参考文献 6被引用 6

一句话总结

本文通过在九个分布式站点上对欧洲数据网格（EDG）中间件进行大规模压力测试，评估了CMS事件模拟软件在欧洲数据网格（EDG）中间件上的执行情况。结果表明，可在网格测试平台中稳定执行复杂高能物理工作负载，成功在500多个CPU和5TB磁盘空间上实现稳定作业执行，通过协作调优与优化，解决了中间件集成和数据管理中的关键挑战。

ABSTRACT

Starting in the middle of November 2002, the CMS experiment undertook an evaluation of the European DataGrid Project (EDG) middleware using its event simulation programs. A joint CMS-EDG task force performed a "stress test" by submitting a large number of jobs to many distributed sites. The EDG testbed was complemented with additional CMS-dedicated resources. A total of ~ 10000 jobs consisting of two different computational types were submitted from four different locations in Europe over a period of about one month. Nine sites were active, providing integrated resources of more than 500 CPUs and about 5 TB of disk space (with the additional use of two Mass Storage Systems). Descriptions of the adopted procedures, the problems encountered and the corresponding solutions are reported. Results and evaluations of the test, both from the CMS and the EDG perspectives, are described.

研究动机与目标

• 评估在分布式网格环境中使用EDG中间件部署CMS事件模拟软件的可行性。
• 评估在多个欧洲站点使用异构计算和存储资源进行分布式作业执行的性能与稳定性。
• 识别并解决在生产类网格测试平台环境中作业提交、数据传输和资源管理中的技术挑战。
• 验证EDG中间件堆栈在高能物理工作负载中的互操作性与可扩展性。
• 为未来在生产网格基础设施上部署CMS软件提供基准参考。

提出的方法

• 通过从四个欧洲地点向九个分布式站点提交约10,000个作业，开展大规模压力测试。
• 采用混合基础设施，结合EDG测试平台资源与额外的CMS专用计算和存储容量。
• 使用两个大容量存储系统，管理数据密集型模拟所需的5TB磁盘空间。
• 在多种中间件配置下，通过标准化作业提交工作流，在不同环境中执行CMS专用事件模拟程序。
• 监控作业执行、数据传输和资源利用率，以识别瓶颈并优化性能。
• 通过CMS-EDG联合任务组实时诊断并解决中间件和配置问题。

实验结果

研究问题

• RQ1 是否可以使用EDG中间件在分布式网格基础设施上可靠执行CMS事件模拟软件？
• RQ2 在生产类网格测试平台中部署复杂高能物理工作负载时，主要技术挑战是什么？
• RQ3 当在多个站点处理大量异构作业时，EDG中间件堆栈的可扩展性如何？
• RQ4 在多站点网格环境中，数据传输和存储管理中会浮现哪些性能瓶颈？
• RQ5 EDG中间件在多大程度上能够满足CMS模拟工作负载的计算与存储需求？

主要发现

• 压力测试成功在九个站点上执行了约10,000个作业，证明EDG中间件在CMS工作负载中具备可扩展性。
• 该基础设施提供了超过500个CPU和5TB磁盘空间，通过两个大容量存储系统有效实现了数据持久化。
• 通过CMS-EDG任务组的协作调优，成功识别并解决了作业调度、数据传输和中间件配置中的关键问题。
• 测试证实了在分布式网格环境中运行CMS事件模拟软件在可靠性和性能方面均具备可行性。
• 结果为未来在生产网格基础设施上部署CMS软件提供了关键洞见，验证了EDG中间件堆栈在高能物理工作负载中的适用性。
• CMS与EDG之间的联合评估过程推动了中间件稳定性和互操作性的实质性改进。