[论文解读] Snowmass Energy Frontier Simulations using the Open Science Grid (A Snowmass 2013 whitepaper)

A. Avetisyan, S. Bhattacharya+10 more|arXiv (Cornell University)|Aug 4, 2013

Distributed and Parallel Computing Systems被引用 6

一句话总结

本文针对Snowmass 2013年能域研究开展了一项大规模模拟活动，利用开放科学网格（OSG）通过GlideinWMS实现分布式作业调度，并利用Parrot实现动态CvmFS访问，生成了数十亿个蒙特卡洛事件。该工作成功在14、33和100 TeV能量下生成了高统计量的标准模型背景与新物理信号样本，为未来对撞机计划的物理发现潜力评估提供了关键支持。

ABSTRACT

Snowmass is a US long-term planning study for the high-energy community by the American Physical Society's Division of Particles and Fields. For its simulation studies, opportunistic resources are harnessed using the Open Science Grid infrastructure. Late binding grid technology, GlideinWMS, was used for distributed scheduling of the simulation jobs across many sites mainly in the US. The pilot infrastructure also uses the Parrot mechanism to dynamically access CvmFS in order to ascertain a homogeneous environment across the nodes. This report presents the resource usage and the storage model used for simulating large statistics Standard Model backgrounds needed for Snowmass Energy Frontier studies.

研究动机与目标

• 为Snowmass 2013年能域研究生成高统计量的标准模型背景与新物理信号的蒙特卡洛样本。
• 评估近期发现的希格斯玻色子及新物理在未来的高能对撞机中的物理发现潜力。
• 证明利用机会性分布式计算资源开展大规模高能物理模拟工作负载的可行性。
• 通过OSG在多个美国机构间开发并部署可扩展、可移植且可复现的模拟基础设施。
• 通过提供数据驱动的输入，支持美国高能物理计划的长期规划，为未来对撞机路线图提供依据。

提出的方法

• 使用HTCondor结合GlideinWMS，在121个OSG站点上提交并调度引导作业，实现对分布式计算资源的机会性使用。
• 采用Parrot机制实现对CvmFS的动态访问，确保在异构计算节点上保持一致且统一的软件环境。
• 执行两阶段模拟：首先由MadGraph使用网格包（gridpacks）生成LHE格式的事件文件；其次由Delphes在堆叠条件（pile-up）下模拟探测器响应。
• 通过在共享存储中缓存大型最小作用截面文件（1 GB），避免每次作业的文件传输，降低I/O开销。
• 将最终的Delphes输出以ROOT格式存储于多个一级站点（FNAL、UNL和BNL），采用基于证书的访问机制并使用XRootD实现公开读取。
• 通过LPC（LHE）、FNAL（CMS dCache）和UNL（Hadoop）的专用存储位置管理数据分发与长期归档，每月跟踪数据量变化。

实验结果

研究问题

• RQ1 如何利用机会性网格资源高效生成大规模、高统计量的蒙特卡洛模拟，以支持未来对撞机物理研究？
• RQ2 在14、33和100 TeV质子-质子对撞条件下，如何实现包含真实堆叠条件的最优模拟工作流？
• RQ3 如何在像OSG这样的异构分布式计算基础设施中保持软件环境的一致性？
• RQ4 GlideinWMS与Parrot在高能物理模拟工作负载中的性能与可扩展性特征如何？
• RQ5 如何通过安全、标准化的协议，高效地在多个机构之间存储、共享和访问大规模模拟输出？

主要发现

• 项目平均每天完成约14,000个作业，2013年5月下旬至6月上旬达到峰值70,000至80,000个作业，主要由LHE生成与Delphes处理驱动。
• 项目期间共向费米实验室dCache传输了268.3 TB数据，向内布拉斯加林肯大学存储系统传输了62.5 TB数据。
• 排名前15的OSG站点贡献了超过550万小时的计算时间，其中USCMS-FNAL-WC1站点以3,411,395小时位居第一。
• 使用Parrot实现动态CvmFS访问显著减少了软件配置问题，提升了跨分布式站点的作业可靠性。
• 模拟工作流成功在14、33和100 TeV质心系能量下生成并存储了高质量、与物理相关的事件样本，对应平均堆叠数分别为0、50和140。
• 最终数据集通过UNL的公开网页接口与XRootD向整个高能物理社区开放，支持广泛复用，超越原始合作组的使用范围。