[论文解读] Using Binary File Format Description Languages for Documenting, Parsing, and Verifying Raw Data in TAIGA Experiment

Igor Bychkov, Andrey Demichev+14 more|arXiv (Cornell University)|Dec 4, 2018

Distributed and Parallel Computing Systems被引用 4

一句话总结

本文提出使用二进制文件格式描述语言，对TAIGA高能天体物理实验中的原始数据进行形式化文档化、解析和验证。该方法为五种数据格式实现了形式化规范，自动生成了类型安全、高性能的C++、Java和Python数据读取库，提升了数据完整性检查能力，并实现了对损坏数据段的检测。

ABSTRACT

The paper is devoted to the issues of raw binary data documenting, parsing and verifying in astroparticle data lifecycle. The long-term preservation of raw data of astroparticle experiments as originally generated is essential for re-running analyses and reproducing research results. The selected high-quality raw data should have detailed documentation and accompanied by open software tools for access to them. We consider applicability of binary file format description languages to specify, parse and verify raw data of the Tunka Advanced Instrument for cosmic rays and Gamma Astronomy (TAIGA) experiment. The formal specifications are implemented for five data formats of the experiment and provide automatic generation of source code for data reading libraries in target programming languages (e.g. C++, Java, and Python). These libraries were tested on TAIGA data. They showed a good performance and help us to locate the parts with corrupted data. The format specifications can be used as metadata for exchanging of astroparticle raw data. They can also simplify software development for data aggregation from various sources for the multi-messenger analysis.

研究动机与目标

• 解决高能天体物理实验中原始二进制数据长期保存与可重现性挑战。
• 为TAIGA实验中使用的复杂二进制数据格式开发一种形式化、机器可读的文档化方法。
• 从形式化规范自动生成可靠、类型安全的数据解析库。
• 通过形式化验证二进制数据结构，实现对数据损坏的检测。
• 通过在异构数据源间标准化数据格式元数据，支持多信使数据分析。

提出的方法

• 采用二进制文件格式描述语言，定义TAIGA实验中使用的五种原始数据格式的结构。
• 利用形式化规范，自动生成C++、Java和Python的数据读取库。
• 在真实TAIGA数据上验证生成的库，以评估其解析准确性和性能。
• 利用形式化规范在解析过程中检测不一致性和损坏的数据段。
• 将格式规范表示为元数据，以支持多信使天体物理学中的数据交换与互操作性。
• 将规范语言集成到数据生命周期中，确保从数据采集到长期归档的一致性。

实验结果

研究问题

• RQ1 形式化的二进制格式描述语言是否能提升高能天体物理实验中原始数据访问的可靠性与可维护性？
• RQ2 从形式化规范自动生成代码在多大程度上能减少数据解析库中的错误？
• RQ3 形式化规范在解析过程中检测损坏或格式错误的二进制数据的效率如何？
• RQ4 此类规范能否作为多信使天文学中实验间数据交换的标准化元数据？
• RQ5 与手工编写的代码相比，使用形式化指定的数据解析会引入多大的性能开销？

主要发现

• 形式化规范实现了C++、Java和Python中正确构造的数据读取库的自动生成。
• 生成的库表现出高性能，并在真实TAIGA数据上成功通过测试。
• 形式化方法使在解析过程中检测到损坏的数据段成为可能，显著提升了数据质量保障能力。
• 规范作为机器可读的元数据，促进了实验间的数据交换与集成。
• 该方法降低了解析错误的风险，提升了TAIGA实验中长期数据的可重现性。
• 该方法支持多信使数据聚合的可扩展与可维护的软件开发。