[论文解读] Snowmass Computing Frontier: Computing for the Cosmic Frontier, Astrophysics, and Cosmology

Andrew J. Connolly, Salman Habib+15 more|arXiv (Cornell University)|Nov 12, 2013

Relativity and Gravitational Theory参考文献 1被引用 4

一句话总结

本文概述了宇宙前沿科学日益增长的计算需求——涵盖暗能量、暗物质和基础物理——这些需求由下一代调查和模拟产生的海量数据（艾字节级别）所驱动。文章倡导可持续的软件开发、全社区范围的代码验证以及新的职业路径，以支持数据密集型科学，将软件定位为未来发现的关键‘仪器’。

ABSTRACT

This document presents (off-line) computing requrements and challenges for Cosmic Frontier science, covering the areas of data management, analysis, and simulations. We invite contributions to extend the range of covered topics and to enhance the current descriptions.

研究动机与目标

• 应对下一代宇宙前沿实验带来的计算和数据管理挑战日益加剧的问题。
• 识别出为支持跨多个合作项目的大型数据分析和模拟而需要可持续、可重用的软件框架。
• 提出全社区范围的软件验证、测试和交叉比较策略，以确保可靠性并减少错误。
• 突出当前学术训练与未来物理研究所需计算技能之间的脱节。
• 倡导为大学和国家实验室中的计算物理学家提供长期职业路径和机构支持。

提出的方法

• 通过2035年预测宇宙前沿实验和模拟的未来数据和计算需求，估算存储量可达100至1500 PB，计算核心数超过1亿个。
• 分析主要实验（包括DES、BOSS、LSST和中微子探测器）当前的数据处理流程和模拟工作流。
• 推广科学软件的软件工程最佳实践——版本控制、自动化测试和持续集成。
• 提议建立一个公开的、长期存在的软件测试设施和注册库，以支持关键分析代码的交叉验证。
• 鼓励开发可跨不同实验和合作项目重用的共享模块化软件工具。
• 呼吁开展由社区主导的“盲挑战”和基准测试活动，以验证关键算法并减少系统性误差。

实验结果

研究问题

• RQ1 在未来二十年中，宇宙前沿实验的数据量和计算工作负载将如何扩展？
• RQ2 在确保大规模天体物理数据分析的可靠性、可重现性和可扩展性方面，关键的软件和数据管理挑战是什么？
• RQ3 科学界如何提升不同实验之间模拟和分析软件的稳健性与可重用性？
• RQ4 为支持计算物理学家在物理学与数据科学交叉领域的下一代人才，需要怎样的机构和职业结构？
• RQ5 社区范围的测试和验证框架在减少错误并提高高影响力天体物理论文可信度方面能发挥什么作用？

主要发现

• 到2035年，宇宙前沿实验预计生成高达1 EB（艾字节）的数据，数据速率相比2013年将提升100至1000倍。
• 到2030年，模拟预计需要超过1 EB的存储空间和每年超过10亿CPU小时的计算资源，峰值计算需求将超过10亿个核心。
• 各实验独立开发分析和模拟软件，导致重复劳动、效率低下，并增加出错风险。
• 目前社区缺乏标准化、可持续的软件基础设施，导致技术债务累积，高影响力分析的可重现性降低。
• 未来研究所需的计算技能与传统物理学学术训练及职业路径之间存在日益严重的不匹配。
• 本文指出，亟需对软件工程实践、共享代码库和社区测试设施进行长期投资，以确保科学的可靠性与持续进步。