[论文解读] Real-Time XFEL Data Analysis at SLAC and NERSC: a Trial Run of Nascent Exascale Experimental Data Analysis

Johannes Blaschke, Aaron S. Brewster+8 more|PubMed|Jun 22, 2021

Enzyme Structure and Function参考文献 11被引用 5

一句话总结

该论文通过将SLAC的LCLS设施与NERSC的Cori超算中心通过Superfacility工作流集成，实现了X射线自由电子激光（XFEL）实验的实时、百亿亿次计算能力数据处理。利用自动数据传输和Docker容器中的CCTBX软件堆栈，团队在短短10分钟内完成完整的分子重构，匹配数据采集速率，实现了对高通量XFEL研究的实时实验决策。

ABSTRACT

X-ray scattering experiments using Free Electron Lasers (XFELs) are a powerful tool to determine the molecular structure and function of unknown samples (such as COVID-19 viral proteins). XFEL experiments are a challenge to computing in two ways: i) due to the high cost of running XFELs, a fast turnaround time from data acquisition to data analysis is essential to make informed decisions on experimental protocols; ii) data collection rates are growing exponentially, requiring new scalable algorithms. Here we report our experiences analyzing data from two experiments at the Linac Coherent Light Source (LCLS) during September 2020. Raw data were analyzed on NERSC's Cori XC40 system, using the Superfacility paradigm: our workflow automatically moves raw data between LCLS and NERSC, where it is analyzed using the software package CCTBX. We achieved real time data analysis with a turnaround time from data acquisition to full molecular reconstruction in as little as 10 min -- sufficient time for the experiment's operators to make informed decisions. By hosting the data analysis on Cori, and by automating LCLS-NERSC interoperability, we achieved a data analysis rate which matches the data acquisition rate. Completing data analysis with 10 mins is a first for XFEL experiments and an important milestone if we are to keep up with data collection trends.

研究动机与目标

• 为应对2025年前XFEL数据处理计算挑战的加剧，其数据速率预计将超过当前水平的400倍。
• 通过将数据分析与数据采集同步，实现实验过程中的实时反馈，确保实验方案的及时决策。
• 开发并验证一种可扩展、自动化且具有弹性的工作流，用于在全国用户设施的高性能计算（HPC）基础上进行分布式数据分析。
• 证明Superfacility模式——将实验设施与HPC中心整合——在高数据速率科学中实现可持续、紧急计算的可行性。
• 创建一种可复用、可移植且可投入生产的实时分析流水线，用于串行飞秒晶体学数据。

提出的方法

• 通过ESNet网络使用XRootD，以高达2.6 GB/s的速率，将LCLS的旋转磁盘存储中的数据自动传输至NERSC的Scratch文件系统。
• 在Cori XC40计算节点上使用Shifter容器部署CCTBX软件，以实现可重现、隔离且可移植的分析工作流。
• 在NERSC使用DataWarp突发缓冲作为高速缓存，加速I/O密集型数据处理。
• 通过在NERSC托管的MySQL数据库编排分析任务，实现实时监控和用户在LCLS与NERSC两地对参数的迭代调整。
• 集成Science Facility（SF）API，用于监控系统健康状况、管理作业调度，并在HPC资源之间自动执行数据移动和作业运行。
• 采用基于Airflow的有向无环图（DAG）来管理复杂的多阶段分析流水线，包括索引、合并和重构等步骤。

实验结果

研究问题

• RQ1 能否在大规模XFEL实验中实现实时数据分析，使处理周转时间与数据采集速率相匹配？
• RQ2 如何在国家用户设施（LCLS）与高性能计算中心（NERSC）之间建立稳健、自动化且容错的工作流？
• RQ3 HPC资源在多大程度上可以实现动态且自动化的编排，以应对实验科学中紧急、高吞吐量的数据分析？
• RQ4 哪些架构和软件模式能够实现面向未来百亿亿次XFEL设施的可持续、可扩展且可移植的实时分析？
• RQ5 如何对系统健康状况和资源可用性进行程序化监控，并用于实时指导自动化的数据与作业路由？

主要发现

• 团队实现了从数据采集到完整分子重构的峰值周转时间仅10分钟，支持实验决策的实时反馈。
• 数据分析速率与120张/秒的数据采集速率完全匹配，每日处理130 TB原始数据（2800万张图像），日均处理量达15 TB。
• Superfacility工作流成功实现了LCLS与NERSC之间数据移动与分析的自动化，减少了人工干预，提升了运行效率。
• 通过SF API实现了动态、自动化的作业调度与健康监控，通过/status/端点进行状态检查，并通过/storage/端点实现自动化数据传输。
• 该工作流已完全可移植至新系统，包括NERSC的Perlmutter超算，CCTBX.xfel已在Perlmutter的CPU节点上成功部署。
• 基于Airflow的DAG流水线实现了复杂多步骤分析工作流的可靠、有状态执行，支持实时进度跟踪和结果向用户的交付。