[论文解读] The QuickReduce data reduction pipeline for the WIYN One Degree Imager

Ralf Kotulla|arXiv (Cornell University)|Oct 18, 2013

Astronomy and Astrophysical Research被引用 3

一句话总结

QuickReduce流水线是一种快速、基于Python的数据还原系统，专为WIYN一平方度成像仪（ODI）设计，通过并行多核处理实现实时质量评估。它执行完整的校准流程——包括串串串 crosstalk 校正、干涉条纹去除、基于2MASS的天体测量解算，以及测光零点校准——每帧200 Mpixel的还原时间低于一分钟，已集成至望远镜观测者界面和ODI门户，实现无需下载原始数据的基于云的实时处理。

ABSTRACT

Optimizing one's observing strategy while at the telescope relies on knowing the current observing conditions and the obtained data quality. In particular the latter is not straight forward with current wide-field imagers, such as the WIYN One Degree Imager (ODI), currently consisting of 13 detectors, each of them read out in 64 independent cells. Here we present a fast data reduction software for ODI, optimized for a first data inspection during acquisition at the the telescope, but capable enough for science-quality data reductions. The pipeline is coded in pure python with minimal additional requirements. It is installed on the ODI observer's interface and publicly available from the author's webpage. It performs all basic reduction steps as well as more advanced corrections for pupil-ghost removal, fringe correction and masking of persistent pixels. Additional capabilities include adding an accurate astrometric WCS solution based on the 2MASS reference system as well as photometric zeropoint calibration for frames covered by the SDSS foot-print. The pipeline makes use of multiple CPU-cores wherever possible, resulting in an execution time of only a few seconds per frame. As such this QuickReduce pipeline offers the ODI observer a convenient way to closely monitor data quality, a necessity to optimize the observing strategy during the night.

研究动机与目标

• 为WIYN望远镜的ODI观测提供实时数据质量监控。
• 实现快速、科学质量的数据还原，且计算和软件依赖极低。
• 通过在数秒内提供校准后、天体测量和测光校准的图像，支持高效的观测策略。
• 通过ODI门户、流水线和档案（PPA）实现基于云的处理，消除对本地数据下载的需求。
• 提供公开可用、无需IRAF、原生基于Python的流水线，用于大视场成像仪的数据还原。

提出的方法

• 流水线在13个OTA上并行执行逐像元还原，将每个OTA的64个像元合并为单张4K×4K图像。
• 依次应用去趋势处理：串串串校正、overscan减除、偏置和暗场减除、非线性校正，以及平场校正。
• 利用当前和先前帧的目录对饱和像素和持久像素进行掩蔽，以校正电荷拖影和条纹。
• 条纹校正使用静态图与时间可变缩放因子，其来源于Snodgrass & Carry（2013）提出的方法。
• 天体测量校准通过将源星表与2MASS匹配实现，达到均方根误差 < 0.2弧秒；测光校准使用SDSS交叉识别。
• 通过与转台角度相关的模板生成方法实现光瞳鬼像去除，消除探测器与像元之间的间隙。

实验结果

研究问题

• RQ1 如何为像ODI这样的多探测器大视场成像仪实现实时数据质量评估？
• RQ2 如何在数秒内对13个独立探测器的200 Mpixel帧进行最优校准与还原？
• RQ3 纯Python实现、依赖极少的流水线是否能在速度和可用性上超越传统的IRAF基流水线？
• RQ4 如何为大格式、多芯片仪器稳健地推导天体测量与测光解？
• RQ5 在地面天文观测中，基于云的处理在多大程度上可以消除对本地数据下载的需求？

主要发现

• 在配备快速I/O的6核机器上，QuickReduce可在20至60秒内完成200 Mpixel ODI帧的还原，具体时间取决于处理步骤。
• 通过将ODI源星表与2MASS参考系统匹配，流水线实现了优于0.2弧秒均方根误差的天体测量精度。
• 在SDSS覆盖区域内，通过与SDSS恒星星表的交叉识别，实现了帧的测光零点校准。
• 条纹校正有效且具备自适应性，使用源自可靠方法（Snodgrass & Carry 2013）的时间可变缩放因子。
• 流水线已成功集成至ODI门户，实现无需下载原始数据的基于云的实时还原。
• 代码公开可用，无需IRAF，仅依赖标准Python科学计算包和multiprocessing实现并行化。