[论文解读] The Data Lab: A Science Platform for the analysis of ground-based astronomical survey data

Knut Olsen, A. Bolton+7 more|arXiv (Cornell University)|Aug 1, 2019

Astronomy and Astrophysical Research被引用 4

一句话总结

NOAO Data Lab 是一个科学平台，旨在通过采用标准化协议、开源工具和云原生容器化技术，高效分析大规模地面天文巡天数据（PB级）。该平台支持大规模星表和图像查询，目前已注册用户864名，每日自动化查询超过6,000次，充分体现了其在推动发现驱动型科学研究中对大规模巡天数据集的普惠化访问作用。

ABSTRACT

The next decade will feature a growing number of massive ground-based photometric, spectroscopic, and time-domain surveys, including those produced by DECam, DESI, and LSST. The NOAO Data Lab was launched in 2017 to enable efficient exploration and analysis of large surveys, with particular focus on the petabyte-scale holdings of the NOAO Archive and their associated catalogs. The Data Lab mission and future development align well with two of the NSF's Big Ideas, namely Harnessing Data for 21st Century Science and Engineering and as part of a network to contribute to Windows on the Universe: The Era of Multi-messenger Astrophysics. Along with other Science Platforms, the Data Lab will play a key role in scientific discoveries from surveys in the next decade, and will be crucial to maintaining a level playing field as datasets grow in size and complexity.

研究动机与目标

• 为应对来自NOAO望远镜（包括DECam、DESI以及未来的LSST巡天）的PB级天文巡天数据日益增长的分析挑战。
• 提供一个科学平台，支持星表、图像和光谱的交互式探索与自动化分析，确保研究社区广泛访问。
• 通过提供可扩展的基础设施，保障数据密集型科学在数据集规模和复杂性持续增长背景下的公平竞争环境。
• 通过与国家级科学平台和数据生态系统的集成，契合NSF在数据科学和多信使天体物理学方面的重大构想。
• 通过采用IVOA标准、开源软件和容器化部署，确保长期可持续性和互操作性。

提出的方法

• 平台使用符合IVOA标准的协议，如表访问协议（TAP）、简单图像访问（SIA）、VOSpace和通用工作器服务（UWS），实现数据发现与访问。
• 集成开源软件栈，包括使用PostgreSQL存储星表数据，使用Q3C实现空间索引与圆锥搜索，使用Jupyter支持交互式分析。
• 系统利用AstroPy及其相关包进行科学计算，使用PyVO实现VO兼容的数据访问与互操作性。
• Data Lab采用Docker和Kubernetes实现容器化部署与服务编排，支持可扩展且可复现的科学工作流。
• 通过高性能查询管道支持自动化脚本查询，其中50%的每日查询为图像切片，45%针对DECam和Mosaic星表。
• 平台设计具备与LSST科学平台的未来兼容性，并作为更广泛的科学平台网络的一部分，确保国家级设施间的互操作性。

实验结果

研究问题

• RQ1 如何使科学平台高效支持对地面望远镜PB级天文巡天数据的分析？
• RQ2 实现大规模星表、图像和光谱的可扩展、交互式与自动化分析，需要怎样的基础设施与软件栈？
• RQ3 标准化的开放协议服务如何在多平台数据生态系统中确保互操作性与长期可持续性？
• RQ4 科学平台在天文研究社区中如何保障对大规模数据集的公平访问？
• RQ5 容器化与云原生部署策略如何提升科学数据平台的可维护性与可扩展性？

主要发现

• 截至本文发表时，Data Lab已有864名注册用户，自2017年6月公开发布以来，用户数量呈线性增长。
• 在为期八个月的时间段内，平台日均处理超过6,000次查询，其中绝大多数为自动化脚本查询。
• 约50%的每日查询为图像切片请求，45%针对基于DECam和Mosaic的星表，表明对图像和星表数据存在强劲需求。
• 交互式使用（通过星表交叉匹配和Jupyter笔记本访问衡量）仅占查询总量的约5%，证实大多数用户活动为自动化操作。
• 平台采用持续增量发布机制，当前活跃版本为2.17.1，反映出从单体发布向敏捷、频繁更新的转变。
• 年度运营成本约为100万美元，其中7.5个全职人员（FTE）投入开发与运维，另有11.5万美元用于设备与差旅。