[论文解读] Next generation input-output data format for HEP using Google's protocol buffers

S. Chekanov|arXiv (Cornell University)|Jun 27, 2013

Distributed and Parallel Computing Systems参考文献 2被引用 7

一句话总结

本文提出 ProMC，一种高能物理（HEP）领域下一代输入输出格式，采用 Google 的 Protocol Buffers 和变长整数（varint）编码技术，实现基于内容的 数据压缩。通过以较低精度和更少字节存储低能‘堆叠’粒子，ProMC 相较于 ROOT 将文件大小减少高达 30%，同时支持自描述、随机访问及 C++、Java 和 Python 多语言环境。

ABSTRACT

We propose a data format for Monte Carlo (MC) events, or any structural data, including experimental data, in a compact binary form using variable-size integer encoding as implemented in the Google's Protocol Buffers package. This approach is implemented in the so-called ProMC library which produces smaller file sizes for MC records compared to the existing input-output libraries used in high-energy physics (HEP). Other important features are a separation of abstract data layouts from concrete programming implementations, self-description and random access. Data stored in ProMC files can be written, read and manipulated in a number of programming languages, such C++, Java and Python.

研究动机与目标

• 解决当前 HEP I/O 格式在存储大量低精度‘堆叠’粒子时效率低下的问题，这些粒子与高显著性信号粒子采用相同精度。
• 通过基于粒子能量和重要性的内容相关压缩，减少大型 LHC 数据（千 petabyte 级别）的存储与 I/O 开销。
• 提供一种自描述、可移植且支持随机访问的数据格式，兼容多种编程语言和平台，包括 Windows 和 Android 等非传统 HEP 环境。
• 通过解耦数据布局与实现，并支持元数据驱动的事件选择，实现高效的数据交换、持久化与分析。
• 开发一种轻量级、可部署的 I/O 库，适用于包括 IBM Blue Gene/Q 等超级计算机在内的多样化架构。

提出的方法

• 利用 Google 的 Protocol Buffers 定义 HEP 事件数据的紧凑、自描述二进制格式，实现高效序列化与反序列化。
• 采用 varint 编码表示整数（如粒子 ID、状态码、动量），使用可变长度字节序列，减少小数值的存储开销。
• 对能量相关缩放进行处理，将浮点数四维动量转换为 64 位整数，从而在不显著损失信息的前提下，降低低能粒子的精度。
• 将元数据集成到文件格式中，支持随机访问，实现无需读取整个文件即可直接检索特定事件。
• 从同一 schema 生成 C++、Java 和 Python 的代码，确保类型安全与平台无关性。
• 提供从标准格式（HEPMC、STDHEP）转换为 ProMC 的工具，以及用于检查、提取和可视化 ProMC 数据的实用程序。

实验结果

研究问题

• RQ1 一种基于内容的压缩策略，通过降低低能粒子的精度，是否能显著减少 HEP 蒙特卡洛数据的文件大小？
• RQ2 与 ROOT 的固定大小格式（如 Double32_t）相比，基于 varint 的整数编码在典型 HEP 事件记录中减少存储开销的效率如何？
• RQ3 自描述、可移植且支持随机访问的二进制格式在多大程度上能提升 HEP 领域跨平台的数据交换与分析可移植性？
• RQ4 像 ProMC 这类轻量级、多语言 I/O 库是否能实现在非传统 HEP 平台（如 Windows 或 Android）上的高效数据处理？
• RQ5 在大规模 HEP 工作流（包括快速模拟和分析流水线）中，ProMC 的性能与可扩展性如何？

主要发现

• 与 ROOT 的 Double32_t 格式相比，ProMC 将文件大小减少高达 30%，基准测试中观察到 27% 的减少。
• 对于高堆叠事件（如每信号事件含 50–140 个背景事件），由于低能粒子的 varint 编码效率高，ProMC 实现了相较于 ROOT 近乎两倍的文件大小减少。
• 与未压缩的 ASCII HEPMC 文件相比，ProMC 实现了 33% 的文件大小减少；与 gzip 压缩的 HEPMC 文件相比，减少了 19%。
• 使用变长整数可使小数值（如粒子 ID、状态码）仅用 1–2 字节存储，显著降低常见数据字段的开销。
• ProMC 库支持通过网络流式传输实现对单个事件的随机访问，无需下载整个文件即可快速检索特定事件。
• 该格式支持从单一 schema 生成 C++、Java 和 Python 代码，促进跨平台分析并降低开发开销。