[论文解读] RefDB: The Reference Database for CMS Monte Carlo Production

V. Lefebure, Julia Andreeva|ArXiv.org|May 28, 2003

Distributed and Parallel Computing Systems被引用 14

一句话总结

RefDB 是一个集中式、分布式数据库系统，专为 CMS 实验设计，用于管理蒙特卡罗模拟工作流，追踪全球计算中心的任务分配，并协调数据生产。它通过可扩展的、支持网格（Grid）的架构，实现了自动化账目管理、工作流规划以及终端用户对数据目录的访问，显著提升了大规模高能物理模拟中的协调性与可复现性。

ABSTRACT

RefDB is the CMS Monte Carlo Reference Database. It is used for recording and managing all details of physics simulation, reconstruction and analysis requests, for coordinating task assignments to world-wide distributed Regional Centers, Grid-enabled or not, and trace their progress rate. RefDB is also the central database that the workflow-planner contacts in order to get task instructions. It is automatically and asynchronously updated with book-keeping run summaries. Finally it is the end-user interface to data catalogues.

研究动机与目标

• 为 CMS 实验中蒙特卡罗模拟的全生命周期管理提供统一、可扩展的数据库。
• 协调分布在不同区域中心的任务分配，无论其是否支持网格（Grid），确保工作负载的高效分配。
• 支持从运行摘要自动、异步更新，实现实时进度追踪。
• 作为工作流规划者与数据目录之间面向终端用户的中心接口。
• 提升大规模高能物理模拟工作流中的可复现性与可追溯性。

提出的方法

• RefDB 作为 CMS 蒙特卡罗生产流程中所有模拟、重建和分析请求的中央存储库。
• 通过追踪异构计算环境中各计算中心的任务分配与进度速率，与全球计算中心实现集成。
• 系统采用异步账目管理机制，基于运行摘要更新任务状态，确保实时可见性。
• 提供对数据目录的接口，使终端用户能够直接查询和访问模拟输出。
• RefDB 设计为可扩展且与网格计算基础设施互操作，支持既支持网格也非支持网格的区域中心。
• 作为工作流规划系统的主要数据源，动态提供任务指令。

实验结果

研究问题

• RQ1 如何通过集中式数据库有效协调全球计算中心之间分布式的蒙特卡罗生产任务？
• RQ2 何种体系结构能够实现在异构计算环境中可靠、实时地追踪模拟进度？
• RQ3 参考数据库如何提升大规模高能物理模拟中的可追溯性与可复现性？
• RQ4 何种机制可实现通过单一数据库层，使工作流规划者与数据目录无缝集成？
• RQ5 RefDB 如何在统一的生产工作流中同时支持支持网格与非支持网格的区域中心？

主要发现

• RefDB 有效实现了对分布在全球区域中心的蒙特卡罗生产任务的集中协调，显著提升了工作流效率。
• 通过从运行摘要自动、异步更新，系统实现了实时进度追踪。
• RefDB 作为任务指令的单一可信来源，减少了配置错误，提升了可复现性。
• 它为数据目录提供了统一接口，简化了不同计算环境中终端用户的访问流程。
• 该数据库架构同时支持网格与非网格计算中心，确保了广泛的兼容性。
• RefDB 已被采纳为 CMS 计算基础设施的核心组件，证明了其在生产环境中的可扩展性与可靠性。