[论文解读] The LAMOST Data Archive and Data Release

Boliang He, Dongwei Fan+4 more|arXiv (Cornell University)|Jan 11, 2016

Advanced Data Storage Technologies被引用 3

一句话总结

本文介绍了LAMOST数据档案与数据发布系统，详细阐述了一个历经四个版本演进的稳健数据周期管理框架，涵盖原始数据传输、流水线处理、归档、备份及公开发布。该系统在四年间成功发布了四次数据释放（PDR、DR1–DR3），管理了18TB原始数据和400万条光谱，通过基于开源工具与中国虚拟天文台（China-VO）集成的可扩展、生产就绪的基础设施，推动了大规模恒星光谱学研究。

ABSTRACT

The Large sky Area Multi-Object Fiber Spectroscopic Telescope (LAMOST) is the largest optical telescope in China. In last four years, the LAMOST telescope has published four editions data (pilot data release, data release 1, data release 2 and data release 3). To archive and release these data (raw data, catalog, spectrum etc), we have set up a data cycle management system, including the transfer of data, archiving, backup. And through the evolution of four software versions, mature established data release system.

研究动机与目标

• 建立一个可靠、可扩展的数据周期管理框架，以应对LAMOST望远镜产生的海量光谱数据输出。
• 通过自动化归档与备份，确保原始数据、星表及FITS光谱的长期保存与公开可访问性。
• 通过一致的质量与元数据，向科学界发布多个版本的处理数据（PDR、DR1、DR2、DR3），以支持科研工作。
• 与China-VO集成，并利用开源软件栈，构建可持续、可扩展的数据基础设施。

提出的方法

• 实施多阶段数据流：原始数据从LAMOST站点传输至China-VO数据中心，随后推送至流水线服务器以生成产品。
• 使用基于Spring Framework的Web应用程序管理数据发布工作流与用户访问，通过CSTNET Passport实现身份认证。
• 将处理后的数据（星表与光谱）存储于搭载pgSphere扩展的PostgreSQL数据库中，部署在专用的数据发布服务器上。
• 通过第三方存储系统对原始数据与产品数据进行备份，以确保数据持久性与灾难恢复能力。
• 部署Nginx作为Web服务器，高效分发数据发布内容并管理流量。
• 通过由中国-VO托管的基于GitLab的代码仓库系统管理软件开发与版本控制。

实验结果

研究问题

• RQ1 如何为LAMOST这类多目标光纤光谱巡天项目设计一个大规模、高吞吐量的数据处理流水线？
• RQ2 何种系统架构能够确保海量天文数据（如PB量级）在可靠传输、处理、归档与公开发布过程中的稳定性？
• RQ3 如何将开源软件与国家数据基础设施（China-VO）集成，以支持国家级科研设施的可持续数据管理？
• RQ4 一个管理18TB原始数据与400万条光谱、历时四年的数据发布系统，其关键性能与可扩展性指标是什么？

主要发现

• LAMOST数据档案与数据发布系统成功管理了900个观测夜，生成约18TB原始数据与5TB产品数据（星表与FITS光谱）。
• 在2012至2015年间，共发布了四次主要数据释放：先导数据释放（PDR）、DR1、DR2与DR3，其中DR1与DR2分别于2013年与2014年公开发布。
• 每晚平均原始数据大小约为20GB，900个观测夜间保持一致。
• 系统通过基于开源技术（如Spring、PostgreSQL、Nginx与GitLab）构建的模块化、四版本演进的软件栈，实现了稳定、自动化的数据处理与发布。
• 与China-VO的集成实现了通过专用Web门户（如http://dr3.lamost.org）安全、可扩展且公开可访问的数据分发。
• 数据发布流水线可靠地生成并交付了400万条光谱及其关联星表，有力支持了大规模恒星族研究。