[论文解读] Virtual Data in CMS Production

Adam Arbree, Paul Avery+7 more|ArXiv.org|May 31, 2003

Distributed and Parallel Computing Systems参考文献 7被引用 15

一句话总结

本文展示了将GriPhyN Chimera虚拟数据系统集成到CMS生产工作流中，用于蒙特卡洛模拟数据处理，实现了在分布式网格资源上自动、依赖感知的数据处理。通过使用虚拟数据语言、目录以及抽象/具体规划器，该系统将逻辑数据产品与物理资源解耦，实现了高效、可扩展的工作流执行，且用户干预极少，适用于复杂高能物理工作负载。

ABSTRACT

Initial applications of the GriPhyN Chimera Virtual Data System have been performed within the context of CMS Production of Monte Carlo Simulated Data. The GriPhyN Chimera system consists of four primary components: 1) a Virtual Data Language, which is used to describe virtual data products, 2) a Virtual Data Catalog, which is used to store virtual data entries, 3) an Abstract Planner, which resolves all dependencies of a particular virtual data product and forms a location and existence independent plan, 4) a Concrete Planner, which maps an abstract, logical plan onto concrete, physical grid resources accounting for staging in/out files and publishing results to a replica location service. A CMS Workflow Planner, MCRunJob, is used to generate virtual data products using the Virtual Data Language. Subsequently, a prototype workflow manager, known as WorkRunner, is used to schedule the instantiation of virtual data products across a grid.

研究动机与目标

• 解决高能物理实验（如CMS）中复杂、数据密集型工作流的管理挑战。
• 在无需用户追踪物理文件位置的情况下，实现在分布式网格资源上的无缝数据处理。
• 通过抽象数据依赖和资源分配，减少工作流管理中的手动工作量。
• 在真实CMS生产环境中，展示虚拟数据抽象在蒙特卡洛模拟中的可行性。
• 为大规模分布式计算中的科学工作流提供可扩展、自动化的框架。

提出的方法

• 使用领域特定的虚拟数据语言定义虚拟数据产品，以表达逻辑数据需求。
• 将虚拟数据描述存储在集中式虚拟数据目录中，以支持发现与管理。
• 使用抽象规划器解析依赖关系，并生成逻辑上独立于位置的执行计划。
• 使用具体规划器将抽象计划映射到物理网格资源，处理文件传输和复制。
• 与CMS MCRunJob工作流规划器集成，以生成虚拟数据产品。
• 利用原型工作流管理器WorkRunner，在网格上调度并执行虚拟数据实例化。

实验结果

研究问题

• RQ1 虚拟数据抽象如何简化高能物理中复杂、数据密集型工作流的管理？
• RQ2 需要何种机制来实现逻辑数据产品与物理存储及执行位置的解耦？
• RQ3 虚拟数据系统是否能在生产规模的网格环境中有效管理依赖关系和资源分配？
• RQ4 虚拟数据的使用如何减轻用户在管理分布式数据处理工作流方面的负担？
• RQ5 在真实CMS生产工作负载中，虚拟数据系统表现出怎样的性能和可扩展特性？

主要发现

• GriPhyN Chimera系统成功实现了CMS蒙特卡洛生产工作流的自动、依赖感知执行。
• 虚拟数据抽象使用户无需管理物理文件位置，即可在分布式资源间实现无缝数据处理。
• 抽象与具体规划层有效解决了复杂依赖关系，并将逻辑计划映射到物理资源。
• 与MCRunJob及WorkRunner的集成，展示了在真实生产环境中端到端自动化虚拟数据实例化的可行性。
• 该系统显著减少了工作流管理中的手动干预，提升了高能物理数据生产中的可扩展性与可重现性。
• 该方法在CHEP 2003会议的实际部署中得到验证，证明了其在生产环境中的可行性与实用性。