[论文解读] The BioDynaMo Project: Creating a Platform for Large-Scale Reproducible Biological Simulations

Lukas Breitwieser, Roman Bauer+7 more|arXiv (Cornell University)|Aug 17, 2016

Scientific Computing and Data Management参考文献 2被引用 9

一句话总结

BioDynaMo 是一个基于 C++、支持云环境的平台，用于大规模、可复现的生物模拟，旨在取代传统的 Java 框架（如 Cx3D）。通过使用 OpenMP、数组结构布局以及借助 crlibm 实现可复现的浮点数计算，该项目在优化基准测试中实现了最高 320 倍的性能提升，并支持在国际团队间进行可扩展、可维护的模拟。

ABSTRACT

Computer simulations have become a very powerful tool for scientific research. In order to facilitate research in computational biology, the BioDynaMo project aims at a general platform for biological computer simulations, which should be executable on hybrid cloud computing systems. This paper describes challenges and lessons learnt during the early stages of the software development process, in the context of implementation issues and the international nature of the collaboration.

研究动机与目标

• 创建一个可扩展、可扩展的平台，用于大规模生物模拟，支持多种计算生物学领域。
• 克服传统模拟软件（如 Cx3D）的局限性，这些软件缺乏云支持、并行计算能力以及可维护性。
• 通过标准化、测试驱动的开发，确保在异构计算环境中实现可复现性和正确性。
• 通过结构化的软件工程和通信工具，促进计算生物学领域的国际合作。
• 通过渐进式、混合语言迁移方式，将遗留的 Java 代码库现代化为高性能 C++，同时最小化对现有系统的干扰。

提出的方法

• 采用迭代式、混合式方法，将基于 Java 的 Cx3D 替换为 C++ 实现：逐个类进行迁移，新 C++ 类与剩余的 Java 代码保持连接。
• 应用数据布局转换（结构体数组 → 数组结构体），以改善内存访问模式并提升向量化潜力。
• 使用 OpenMP 实现共享内存并行计算，使用 Intel Cilk Plus 实现任务级并行，以充分利用多核架构。
• 集成持续集成（Travis-CI）并使用 JSON 序列化的模拟输出与 Cx3D 0.03 的基准结果进行对比，实现自动化测试。
• 通过自动化工具（如 cpplint 和 Eclipse 格式化工具）强制执行 Google C++ 风格指南，确保编码规范统一。
• 集成 crlibm 数学库，确保在不同平台上实现位级完全一致的浮点数结果，从而实现可复现性。

实验结果

研究问题

• RQ1 如何对遗留的生物模拟框架进行现代化改造，以支持现代高性能计算架构？
• RQ2 在维护大规模、国际协作的模拟平台时，哪些软件工程实践是必不可少的？
• RQ3 在不改变模拟语义的前提下，通过代码现代化手段能将性能提升多少？
• RQ4 如何确保在不同硬件和编译器环境下浮点数结果的可复现性？
• RQ5 游戏化机制在加速科学软件开发中的性能优化方面起到什么作用？

主要发现

• 采用逐类迁移的 C++ 迁移策略并结合混合式 Java/C++ 集成，实现了持续测试，并显著简化了调试过程。
• 单线程、非向量化版本的 C++ 实现相比原始 Java 版本，中位性能提升达 1.7 倍，最高提升达 4.8 倍。
• 在 Intel 现代化代码开发挑战赛中，通过布局转换、OpenMP 和自定义内存管理，优化后的 C++ 代码相比原始顺序 C++ 版本实现了 320 倍的性能提升。
• 通过集成 crlibm 库，实现了跨平台的可复现浮点数结果，解决了因浮点数运算差异导致的不一致问题。
• 采用基于 JSON 的输出对比自动化测试，确保了现代化过程中的功能正确性，并支持可靠的回归测试。
• 持续集成、通过 GitHub 拉取请求进行代码审查，以及 Slack 和邮件列表等通信工具的结合使用，被证明是管理国际合作的关键。