[论文解读] SAXSDOG: open software for real-time azimuthal integration of 2D scattering images

Max Burian, Christian Meisenbichler+2 more|arXiv (Cornell University)|Jul 4, 2020

NMR spectroscopy and applications被引用 6

一句话总结

SAXSDOG 是一款基于 Python 的开源软件框架，可在同步辐射装置中对二维小角和广角 X 射线衍射（SAXS/WAXS）图像实现实时方位积分。它通过自动化的基于服务器的处理流程，实现对大面探测器数据的毫秒级处理，借助 SAXSLEASH 图形用户界面实现实时可视化与分类，并提供一个独立的‘便携版’以供实验室使用。

ABSTRACT

In-situ small- and wide-angle scattering experiments at synchrotrons often result in massive amounts of data within seconds only. Especially during such beamtimes, processing of the acquired data online, so without mentionable delay, is key to obtain feedback on failure or success of the experiment. We thus developed SAXSDOG, a python based environment for real-time azimuthal integration of large-area scattering-images. The software is primarily designed for dedicated data-pipelines: once a scattering image is transferred from the detector onto the storage-unit, it is automatically integrated and pre-evaluated using integral parameters within milliseconds. The control and configuration of the underlying server-based processes is done via a graphical user interface SAXSLEASH, which visualizes the resulting 1D data together with integral classifiers in real time. SAXSDOG further includes a portable 'take-home' version for users that runs on standalone computers, enabling its use in labs or at the preferred workspace.

研究动机与目标

• 解决在同步辐射实验时间期间实时生成的海量二维 X 射线衍射数据的处理挑战。
• 实现实时、低延迟的数据处理，以即时反馈实验成功或失败。
• 开发可扩展的、基于服务器的处理流程，实现自动化方位积分与衍射图像的预评估。
• 提供独立的、可移动的版本，供在实验室或个人工作空间使用，无需依赖束线基础设施。
• 通过图形用户界面（SAXSLEASH）实现实时可视化与一维衍射谱的分类。

提出的方法

• 利用基于 Python 的后端，在图像被传输至存储后立即处理二维衍射图像。
• 应用方位积分，将二维探测器图像在毫秒内转换为一维衍射谱。
• 使用积分参数（例如总强度、回转半径）实现实时数据质量预评估。
• 运行基于服务器的处理流程，图像到达后自动触发积分，确保处理延迟最小化。
• 通过 SAXSLEASH 图形用户界面实时可视化结果的一维数据与分类器，实现现场监控。
• 包含一个可独立运行的‘便携版’，可在独立计算机上运行，支持离线或实验室环境下的分析。

实验结果

研究问题

• RQ1 在高通量同步辐射实验时间中，如何实现对二维 X 射线衍射数据的极低延迟实时处理？
• RQ2 何种软件架构能够实现可靠、自动化且低延迟的大型面探测器图像方位积分？
• RQ3 如何利用积分分类器在实验时间中为实验人员提供实时数据质量反馈？
• RQ4 高性能数据处理流程在多大程度上可与束线解耦，并部署在独立系统上？
• RQ5 基于图形用户界面的监控系统（SAXSLEASH）在实时可视化一维衍射谱方面的性能与可用性如何？

主要发现

• SAXSDOG 在图像传输至存储后实现毫秒级处理，支持实验时间中的实时反馈。
• 该软件成功以极低延迟将二维图像集成至一维衍射谱，支持即时实验决策。
• SAXSLEASH 图形用户界面提供一维数据与积分分类器的实时可视化，增强实验监控能力。
• 独立的‘便携版’支持在实验室和个人工作空间中部署，将可用性扩展至束线环境之外。
• 该系统设计用于集成至专用数据处理流水线，确保无需人工干预的稳健且自动化处理。
• 源代码公开，支持透明性、可重复性以及社区对框架的扩展。