[论文解读] Uncertainty-Aware Learning for Improvements in Image Quality of the Canada-France-Hawaii Telescope

Sankalp Gilda, Stark C. Draper+7 more|arXiv (Cornell University)|Jun 30, 2021

Advanced Image Processing Techniques参考文献 48被引用 7

一句话总结

本文提出了一种不确定性感知的机器学习框架，利用环境和运行数据在加拿大-法国-夏威夷望远镜（CFHT）上预测图像质量（IQ）。通过采用具有认知不确定性和随机不确定性估计的混合密度网络，该模型在IQ中位数预测中实现了约0.07′′的平均绝对误差，并识别出最优的穹顶通风口配置，使固定信噪比目标下的所需观测时间减少约12%。

ABSTRACT

We leverage state-of-the-art machine learning methods and a decade's worth of archival data from CFHT to predict observatory image quality (IQ) from environmental conditions and observatory operating parameters. Specifically, we develop accurate and interpretable models of the complex dependence between data features and observed IQ for CFHT's wide-field camera, MegaCam. Our contributions are several-fold. First, we collect, collate and reprocess several disparate data sets gathered by CFHT scientists. Second, we predict probability distribution functions (PDFs) of IQ and achieve a mean absolute error of $\sim0.07''$ for the predicted medians. Third, we explore the data-driven actuation of the 12 dome "vents" installed in 2013-14 to accelerate the flushing of hot air from the dome. We leverage epistemic and aleatoric uncertainties in conjunction with probabilistic generative modeling to identify candidate vent adjustments that are in-distribution (ID); for the optimal configuration for each ID sample, we predict the reduction in required observing time to achieve a fixed SNR. On average, the reduction is $\sim12\%$. Finally, we rank input features by their Shapley values to identify the most predictive variables for each observation. Our long-term goal is to construct reliable and real-time models that can forecast optimal observatory operating parameters to optimize IQ. We can then feed such forecasts into scheduling protocols and predictive maintenance routines. We anticipate that such approaches will become standard in automating observatory operations and maintenance by the time CFHT's successor, the Maunakea Spectroscopic Explorer, is installed in the next decade.

研究动机与目标

• 利用档案遥测数据和后处理的IQ数据，开发CFHT图像质量（IQ）的高精度、可解释性模型。
• 从环境和运行参数中预测IQ的概率密度函数（PDF）的完整分布。
• 通过不确定性感知建模识别最优穹顶通风口配置，以改善IQ并减少观测时间。
• 使用Shapley值对输入特征进行重要性排序，以提升模型可解释性。
• 为实时、自动化的天文台调度与维护系统奠定基础。

提出的方法

• 训练了一个前馈混合密度网络（MDN），以从环境和运行特征中预测IQ的完整概率分布。
• 集成认知不确定性和随机不确定性估计，以评估模型置信度并检测分布外（OOD）样本。
• 采用CRUDE（带不确定性估计的校准回归）对预测不确定性进行事后校准。
• 应用伪边缘似然阈值（第95百分位数）检测OOD样本，其中似然遗憾作为更优但计算成本更高的替代方法。
• 使用Shapley值对特征重要性进行排序，以提升模型可解释性。
• 通过模拟分布内（ID）调整并预测固定信噪比下的时间节省，评估穹顶通风口配置对IQ的影响。

实验结果

研究问题

• RQ1 机器学习模型能否利用环境和运行数据准确预测CFHT图像质量的完整概率分布？
• RQ2 12个穹顶通风口的何种最优配置可最小化图像退化并减少所需观测时间？
• RQ3 如何利用认知不确定性和随机不确定性识别出可靠且可操作的控制调整？
• RQ4 哪些环境和运行特征对图像质量最具预测力，如通过Shapley值衡量？
• RQ5 不确定性感知模型能否实现天文台运行的实时、数据驱动优化？

主要发现

• 该模型在IQ中位数预测中实现了约0.07′′的平均绝对误差，表现出高预测精度。
• 通过不确定性感知建模识别出的最优穹顶通风口配置，可使实现固定信噪比目标所需的观测时间平均减少12%。
• Shapley值分析识别出关键预测特征，包括穹顶温度、风速和仪器冷却状态，显著提升了模型可解释性。
• 使用第95百分位数阈值的伪边缘似然方法能有效检测分布外样本，尽管似然遗憾方法更准确但计算成本更高。
• 该框架实现了天文台系统的数据驱动控制执行，为自动化调度和预测性维护铺平了道路。
• 本研究为实时、不确定性感知的IQ预测建立了基础，可集成至未来的天文台控制系统中，包括即将建成的毛纳基光谱巡天望远镜（Maunakea Spectroscopic Explorer）。