[论文解读] Skies And Universes: Accessing cosmological simulations and theoretical predictions

Anatoly Klypin, Francisco Prada+1 more|arXiv (Cornell University)|Nov 4, 2017

Scientific Research and Discoveries被引用 5

一句话总结

本文提出了 Skies and Universes，这是一个由社区驱动的数据存储库，可通过直接下载的方式向公众提供来自宇宙学模拟的千兆字节级数据——包括原始粒子文件和观测模拟——绕过了限制性数据库查询。该研究证明，仅需少量基础设施，即可实现高质量模拟结果的广泛传播，支持宇宙学中理论与观测的长期科学复用与协作。

ABSTRACT

Numerical simulations play a key important role in modern cosmology. Examples are plenty including the cosmic web - large scale structure of the distribution of galaxies in space - which was first observed in N-body simulations and later discovered in observations. The cuspy dark matter halo profiles, the overabundance of satellites, the Too-Big-Too-Fail problem are other examples of theoretical predictions that have a dramatic impact on recent developments in cosmology and galaxy formation. Large observational surveys such as e.g. SDSS, Euclid, and LSST are intimately connected with extensive cosmological simulations that provide statistical errors and tests for systematics. Accurate predictions for baryonic acoustic oscillations and redshift space distortions from high-resolution and large-volume cosmological simulations are required for interpretation of these large-scale galaxy/qso surveys. However, most of the results from extensive computer simulations, that would be greatly beneficial if publicly available, are still in hands of few research groups. Even when the simulation data is available, sharing vast amounts of data can be overwhelming. We argue that there is an effective and simple path to expand the data access and dissemination of numerous results from different cosmological models. Here we demonstrate that public access can be effectively provided with relatively modest resources. Among different results, we release for the astronomical community terabytes of raw data of th popular Bolshoi and MultiDark simulations. We also provide numerous results that are focused on mimicking observational data and galaxy surveys for major projects. Skies and Universes is a community effort: data are produced and shared by many research groups. We offer to other cosmologists and astronomers to host their data products in the skiesanduniverses.org space.

研究动机与目标

• 解决长期以来高质量宇宙学模拟数据访问受限的问题，这些数据通常仅限少数研究团队使用。
• 克服现有数据门户依赖 SQL 查询、无法支持批量数据下载的局限性。
• 通过提供原始数据和处理后数据的直接访问，实现对如 Bolshoi 和 MultiDark 等高质量模拟的长期复用。
• 通过共享模拟星系星表和观测代理数据，促进理论宇宙学与大规模观测巡天（如 SDSS、LSST、Euclid）之间的协作。
• 建立一种可扩展的、由社区托管的模拟产品共享模式，鼓励其他研究团队贡献其数据。

提出的方法

• 以未格式化的 Fortran 二进制文件形式托管原始模拟数据——包括粒子文件和晕族星系星表——按空间区域划分，并在每个区块中增加 5 Mpc 的缓冲区，以支持并行处理。
• 提供低层级 I/O 函数和数据格式文档，使用户能够使用 MPI 或 OpenMP 构建自定义高性能计算分析工具。
• 以压缩的 ASCII 表格形式存储基于星表的数据产品，如星系模拟星表和光度函数。
• 采用轻量级、基于文件的架构，而非传统数据库，以降低维护开销并提高可访问性。
• 通过与外部数据源交叉链接，扩展存储库的覆盖范围，而无需在本地存储所有数据。
• 通过协作、去中心化的模式，鼓励外部研究团队在 Skies and Universes 平台中托管其自身的模拟产品。

实验结果

研究问题

• RQ1 是否可以在不依赖复杂、资源密集型数据库系统的情况下，有效实现大规模宇宙学模拟数据的公开访问？
• RQ2 原始模拟数据的直接文件下载在多大程度上能够支持更广泛的天文学社区开展大规模、高性能的分析？
• RQ3 如何使长期存在、高保真的模拟（如 Bolshoi 和 MultiDark）在初始发表后仍能持续用于科学复用？
• RQ4 在基础设施投入极少的前提下，是否可行建立一种由社区驱动、去中心化的模型来托管多样化的宇宙学模拟产品？
• RQ5 如何有效将理论模拟输出与观测巡天需求（如掩膜、完整性和巡天边界）对齐？

主要发现

• Skies and Universes 平台成功实现了对 Bolshoi 和 MultiDark 模拟中千兆字节级原始粒子数据的公开访问，包括完整的模拟区域和晕族星表。
• 数据以空间分解、带缓冲区扩展的文件形式组织，支持使用 MPI 或 OpenMP 进行高效并行处理，显著简化了大规模分析。
• 该研究证明，结合极少基础设施的直接文件下载方式，可有效替代传统数据库访问，实现高性能宇宙学数据的传播。
• 该平台不仅托管原始模拟输出，还直接提供与真实巡天需求对齐的观测模拟产品，如 SDSS 和 QSO 模拟星表、发射线光度函数以及强引力透镜模拟。
• 该平台已成功支持关键科学研究，包括基于 LoRCA 和网站上可用观测产品的两项关于发射线光度函数的出版物。
• 该模式具有可扩展性和可扩展性：作者积极鼓励其他研究团队向 Skies and Universes 数据库贡献其自身数据产品，从而推动形成协作性、社区驱动的数据生态系统。