[论文解读] The Herschel Data Processing System - HIPE and Pipelines - Up and Running Since the Start of the Mission

Stephan Ott, Centre, Herschel Science+1 more|arXiv (Cornell University)|Nov 4, 2010

Astronomical Observations and Instrumentation被引用 46

一句话总结

赫歇尔数据处理系统（HIPE和处理流程）在发射后30分钟内即实现了从接收数据到生成科学数据产品的快速、端到端处理，展示了在任务早期运行阶段的全面成熟。该系统为所有三台赫歇尔仪器提供了统一、开源、基于Java的环境，用于数据获取、流程执行和科学分析，确保了天文界自任务启动之初即可获得一致且高质量的数据产品。

ABSTRACT

The Herschel Space Observatory is the fourth cornerstone mission in the ESA science programme and performs photometry and spectroscopy in the 55 - 672 micron range. The development of the Herschel Data Processing System started in 2002 to support the data analysis for Instrument Level Tests. The Herschel Data Processing System was used for the pre-flight characterisation of the instruments, and during various ground segment test campaigns. Following the successful launch of Herschel 14th of May 2009 the Herschel Data Processing System demonstrated its maturity when the first PACS preview observation of M51 was processed within 30 minutes of reception of the first science data after launch. Also the first HIFI observations on DR21 were successfully reduced to high quality spectra, followed by SPIRE observations on M66 and M74. A fast turn-around cycle between data retrieval and the production of science-ready products was demonstrated during the Herschel Science Demonstration Phase Initial Results Workshop held 7 months after launch, which is a clear proof that the system has reached a good level of maturity. We will summarise the scope, the management and development methodology of the Herschel Data Processing system, present some key software elements and give an overview about the current status and future development milestones.

研究动机与目标

• 从任务启动之初即开发一个成熟、集成化且用户友好的数据处理系统，用于赫歇尔空间天文台。
• 通过一个与在轨运行环境一致的系统，支持飞行前的仪器表征和地面测试。
• 确保天文界能够获得与仪器专家相同的处理工具和数据产品。
• 通过自动化处理流程和统一的处理环境，实现科学就绪数据产品的快速交付。
• 建立一个可扩展、可移植且开源的系统，以支持任务常规科学阶段的长期使用。

提出的方法

• 开发赫歇尔交互式处理环境（HIPE），作为基于Java/Jython的跨平台图形用户界面和脚本驱动接口，用于数据处理。
• 将数据获取、流程执行、校准、质量控制和科学分析整合为一个统一的系统。
• 实现产品访问层，用于管理数据存储、查询、共享以及对赫歇尔科学档案（HSA）的直接访问。
• 在欧洲空间天文中心（ESAC）计算网格上部署自动化处理流程，生成Level 0（原始遥测数据）、Level 1（校准探测器数据）和Level 2（科学校准图像、光谱和立方体）产品。
• 采用协作式开发模式，涵盖欧洲航天局（ESA）、仪器控制中心和美国国家航空航天局（NASA）的200多名贡献者和60个全职人员等效工作量。
• 为多种操作系统（Windows、Linux、Mac OS X）提供正式支持，并通过版本化发布确保向后和向前兼容性。

实验结果

研究问题

• RQ1 如何在重大空间任务早期运行阶段之前，开发并部署一个统一、可扩展且用户友好的数据处理系统？
• RQ2 一个单一的软件环境（HIPE）能否有效支持专家级脚本编写和非程序员天文学家对复杂多仪器数据的处理？
• RQ3 在首次接收数据后30分钟内处理赫歇尔数据，能够实现怎样的性能和可靠性水平？
• RQ4 如何高效地将数据质量控制与自动化处理及专家评审相结合，以确保数据完整性？
• RQ5 何种开发与部署模式能够确保系统的长期可维护性，并保障社区对处理系统的持续访问？

主要发现

• 在接收到第一组PACS观测M51的数据后30分钟内，即生成了可用于科学分析的图像，证明了系统的运行就绪状态。
• HIFI在DR21的首次点亮观测中，通过交互式HIPE环境和标准处理流程，成功生成了CO和H2O谱线的高质量光谱。
• SPIRE在M66和M74的首次点亮观测中，通过HIPE和运行中的处理流程均成功还原了数据，证实了系统的稳健性。
• 该系统实现了PACS成像光谱数据的快速处理，并通过PACS/SPIRE并行模式观测在银河系中揭示了新的细节。
• HIPE 1.1在性能验证阶段发布，HIPE 1.2用于科学演示阶段的数据产品，展示了持续的进展。
• 至2009年底，HIPE 2.0正在测试中，计划于明年初向社区发布，未来版本将按每三个月一次的周期定期发布。