[论文解读] Parallel netCDF: A Scientific High-Performance I/O Interface

Jianwei Li, Wei‐keng Liao+5 more|ArXiv.org|Jun 11, 2003

Advanced Data Storage Technologies参考文献 12被引用 33

一句话总结

本文提出了一种并行 netCDF I/O 接口，通过在串行 netCDF API 上进行最小改动，扩展支持使用 MPI-IO 的高性能、集体 I/O。在真实世界基准测试中，与并行 HDF5 相比，其 I/O 性能显著提升——I/O 速率最高可提高一倍，尤其在 FLASH 应用中表现突出，同时保持了编程的简洁性和可移植性。

ABSTRACT

Dataset storage, exchange, and access play a critical role in scientific applications. For such purposes netCDF serves as a portable and efficient file format and programming interface, which is popular in numerous scientific application domains. However, the original interface does not provide an efficient mechanism for parallel data storage and access. In this work, we present a new parallel interface for writing and reading netCDF datasets. This interface is derived with minimum changes from the serial netCDF interface but defines semantics for parallel access and is tailored for high performance. The underlying parallel I/O is achieved through MPI-IO, allowing for dramatic performance gains through the use of collective I/O optimizations. We compare the implementation strategies with HDF5 and analyze both. Our tests indicate programming convenience and significant I/O performance improvement with this parallel netCDF interface.

研究动机与目标

• 解决并行科学计算应用在处理大规模数据集时，串行 netCDF I/O 所面临的性能瓶颈。
• 在不牺牲原始串行 API 简洁性和可移植性的前提下，实现对 netCDF 文件的并发、集体 I/O 访问。
• 开发一种高性能、可移植的 I/O 接口，利用 MPI-IO 实现集体 I/O 优化，并支持可扩展的数据访问。
• 在 I/O 效率方面超越现有的并行 I/O 解决方案（如 HDF5），同时保持使用简便性，并与 netCDF 约定向后兼容。
• 确立并行 netCDF 作为科学领域高性能计算工作负载中可行且可投入生产的标准。

提出的方法

• 通过最小的语法和语义改动扩展串行 netCDF API，以支持并行访问，保留对现有用户的熟悉度。
• 在 MPI-IO 上实现接口，利用其集体 I/O 操作减少系统调用，提升 I/O 吞吐量。
• 在 MPI-IO 中采用两阶段 I/O 策略，将小的、非连续的 I/O 请求合并为更大的、连续的操作，以最小化 I/O 开销。
• 在保持 netCDF 的元数据可移植性和自描述文件语义的同时，支持跨多个进程的并行写入和读取操作。
• 设计接口以支持科学应用中典型的分块、连续数据访问模式，如 FLASH 代码中的模式。
• 通过减少进程间同步和元数据处理开销，相比 HDF5 的递归超切片打包方式，优化文件访问效率。

实验结果

研究问题

• RQ1 能否在对串行 API 做最小改动的前提下，设计出一种基于 MPI-IO 的高性能、集体 I/O 的并行 netCDF 接口？
• RQ2 在真实世界的科学 I/O 工作负载中，所提出的并行 netCDF 接口与并行 HDF5 相比性能如何？
• RQ3 与串行 netCDF I/O 相比，并行 netCDF 接口在多进程科学应用中能多大程度上减少 I/O 瓶颈？
• RQ4 在并行 HDF5 与优化后的并行 netCDF 接口中，元数据处理和进程间同步对 I/O 性能的影响有何差异？
• RQ5 并行 netCDF 接口能否在保持使用简便性和可移植性的同时，实现比 HDF5 更好的 I/O 可扩展性和更低的开销？

主要发现

• 并行 netCDF 接口相比原始串行 netCDF 实现了显著更高的 I/O 性能，尤其在进程数增加时表现更明显。
• 在 FLASH I/O 基准测试中，由于内部同步和元数据开销更低，与并行 HDF5 相比，其整体 I/O 速率接近翻倍。
• 性能提升主要归因于并行 netCDF 中更少的进程间通信和更高效的超切片打包机制，相比 HDF5 的递归处理方式和文件头访问方式。
• 该接口保持了极低的通信开销，在使用大文件时，该开销与磁盘 I/O 相比可忽略不计。
• I/O 带宽能随着进程数有效扩展，尽管并非线性扩展，这是由于 I/O 节点和磁盘容量存在固定限制。
• 该实现表明，基于 MPI-IO 的集体 I/O 优化，仅通过最小的 API 改动，即可带来显著的性能提升。