[论文解读] USID and Pycroscopy -- Open frameworks for storing and analyzing spectroscopic and imaging data

Suhas Somnath, Chris R. Smith+8 more|arXiv (Cornell University)|Mar 22, 2019

Advanced X-ray and CT ImagingEngineering参考文献 95被引用 17

一句话总结

本文提出了USID，一种用于光谱和成像数据的通用数据模型，以及基于HDF5和pyUSID构建的开源Python框架Pycroscopy，实现了可扩展的、与仪器无关的数据分析。该框架支持跨多种材料科学模态的可重复、高性能数据处理，推动了开放科学中的协作。

ABSTRACT

Materials science is undergoing profound changes due to advances in characterization instrumentation that have resulted in an explosion of data in terms of volume, velocity, variety and complexity. Harnessing these data for scientific research requires an evolution of the associated computing and data infrastructure, bridging scientific instrumentation with super- and cloud- computing. Here, we describe Universal Spectroscopy and Imaging Data (USID), a data model capable of representing data from most common instruments, modalities, dimensionalities, and sizes. We pair this schema with the hierarchical data file format (HDF5) to maximize compatibility, exchangeability, traceability, and reproducibility. We discuss a family of community-driven, open-source, and free python software packages for storing, processing and visualizing data. The first is pyUSID which provides the tools to read and write USID HDF5 files in addition to a scalable framework for parallelizing data analysis. The second is Pycroscopy, which provides algorithms for scientific analysis of nanoscale imaging and spectroscopy modalities and is built on top of pyUSID and USID. The instrument-agnostic nature of USID facilitates the development of analysis code independent of instrumentation and task in Pycroscopy which in turn can bring scientific communities together and break down barriers in the age of open-science. The interested reader is encouraged to be a part of this ongoing community-driven effort to collectively accelerate materials research and discovery through the realms of big data.

研究动机与目标

• 应对先进仪器带来的材料科学中光谱与成像数据日益复杂和庞大的挑战。
• 克服由专有数据格式和仪器特定工作流程导致的数据孤岛与互操作性问题。
• 设计一种统一、可扩展的数据模型（USID），以支持多种模态、多维性和不同规模的数据。
• 开发开源软件（pyUSID与Pycroscopy），实现与仪器无关的可扩展、可重复和并行化的数据分析。
• 通过解耦数据分析与特定仪器及数据采集系统，推动社区驱动的科学协作。

提出的方法

• 设计通用光谱与成像数据（USID）模型，作为分层、可扩展的模式，用于表示多维光谱与成像数据。
• 使用HDF5文件格式实现USID模型，以确保可移植性、可扩展性以及溯源追踪。
• 开发pyUSID作为Python库，用于读取、写入和管理符合USID规范的HDF5文件，并支持并行化数据处理。
• 在pyUSID基础上构建Pycroscopy，提供针对纳米尺度成像与光谱分析的领域特定算法。
• 通过抽象数据访问与处理逻辑，实现与硬件无关的分析，屏蔽具体仪器细节。
• 通过HDF5属性和符合标准的数据组织方式，集成版本控制、元数据追踪与溯源记录。

实验结果

研究问题

• RQ1 如何设计一种通用数据模型，以在多种仪器和模态之间标准化表示多样的光谱与成像数据？
• RQ2 何种软件架构能够支持大规模材料科学数据的可扩展、可重复和并行化分析？
• RQ3 开放的、社区驱动的软件框架在多大程度上能够降低材料研究中数据共享与协作的门槛？
• RQ4 与仪器无关的数据处理在多大程度上能够提升科学工作流的互操作性与可重用性？
• RQ5 统一的数据模型与开源软件栈是否能够加速大数据驱动材料科学中的科学发现？

主要发现

• USID数据模型成功以标准化、分层的格式封装了来自多种仪器的多维、多模态光谱与成像数据。
• pyUSID支持高效读写和并行化处理符合USID规范的HDF5文件，适用于高性能计算工作流。
• Pycroscopy提供了一套开源、可重用的算法，用于分析纳米尺度成像与光谱数据，且与特定仪器解耦。
• USID与HDF5的集成确保了跨不同平台和机构的数据可交换性、可追溯性与可重复性。
• 该框架使科学社区能够跨越仪器边界协作，加速材料科学中的数据驱动发现。
• Pycroscopy与pyUSID的开放、社区驱动开发模式，促进了科学软件的可扩展性与长期可持续性。