[论文解读] Uncertain Photometric Redshifts

Kai Polsterer, Antonio D’Isanto+1 more|arXiv (Cornell University)|Aug 29, 2016

Gaussian Processes and Bayesian Inference参考文献 3被引用 8

一句话总结

本文提出并评估了两种实用方法——k近邻和随机森林回归——用于从SDSS DR7数据生成概率性光度红移概率密度函数（PDF）。研究引入了连续秩概率评分（CRPS）和概率积分变换（PIT）作为更优的评估工具，表明标准天文学指标无法正确评估PDF质量，且CRPS在性能上显著优于点估计和简单高斯PDF。

ABSTRACT

Photometric redshifts play an important role as a measure of distance for various cosmological topics. Spectroscopic redshifts are only available for a very limited number of objects but can be used for creating statistical models. A broad variety of photometric catalogues provide uncertain low resolution spectral information for galaxies and quasars that can be used to infer a redshift. Many different techniques have been developed to produce those redshift estimates with increasing precision. Instead of providing a point estimate only, astronomers start to generate probabilistic density functions (PDFs) which should provide a characterisation of the uncertainties of the estimation. In this work we present two simple approaches on how to generate those PDFs. We use the example of generating the photometric redshift PDFs of quasars from SDSS(DR7) to validate our approaches and to compare them with point estimates. We do not aim for presenting a new best performing method, but we choose an intuitive approach that is based on well known machine learning algorithms. Furthermore we introduce proper tools for evaluating the performance of PDFs in the context of astronomy. The continuous ranked probability score (CRPS) and the probability integral transform (PIT) are well accepted in the weather forecasting community. Both tools reflect how well the PDFs reproduce the real values of the analysed objects. As we show, nearly all currently used measures in astronomy show severe weaknesses when used to evaluate PDFs.

研究动机与目标

• 通过生成更能反映不确定性的概率密度函数（PDF），解决光度红红移估计中点估计的局限性。
• 引入并验证连续秩概率评分（CRPS）和概率积分变换（PIT）作为天文学中PDF评估的更优工具。
• 证明天文学中常用的评估指标在评估概率性红移预测质量方面不足。
• 提供易于理解的、基于k-NN和随机森林等成熟机器学习技术生成PDF的方法，不追求最先进性能。

提出的方法

• k近邻（k-NN）方法通过特征空间中k个最近邻训练样本的红移分布生成PDF。
• 随机森林回归模型在光度特征上训练256棵决策树以预测红红移，各棵树的输出结果构成一个分布。
• PDF通过四种变体构建：固定窄（σ=0.01）或宽（σ=0.2）标准差的单高斯分布、基于树集成分布的自适应σ，以及包含五个分量的高斯混合模型（GMM）。
• 使用连续秩概率评分（CRPS）量化预测PDF的准确性，通过计算累积预测分布与真实分布之间平方差的积分来衡量。
• 应用概率积分变换（PIT）评估PDF的校准性，检查预测的累积概率是否服从均匀分布。
• 所有方法均在SDSS DR7类星体数据上进行评估，将PDF性能与作为真实值的光谱红红移进行比较。

实验结果

研究问题

• RQ1 天文学中标准评估指标在评估概率性光度红移预测时表现如何？
• RQ2 像k-NN和随机森林这样的简单机器学习方法能否在不依赖复杂模型架构的情况下生成可靠的光度红移PDF？
• RQ3 CRPS和PIT在评估概率性红移估计质量方面，相较于传统指标有多大的优势？
• RQ4 PDF构建方法的选择——单高斯、自适应高斯或GMM——在多大程度上影响预测的准确性和校准性？
• RQ5 多模态红移分布对光度红移估计中不确定性量化有何影响？

主要发现

• 基于k-NN的PDF的CRPS值为0.2816，显著低于最近邻点估计的0.3979，表明其在概率性能上更优。
• 基于随机森林的五分量GMM实现了最低的CRPS值0.1960，优于所有其他PDF构建方法。
• 基于GMM的PDF的PIT直方图仅显示轻微过度离散，表明其预测不确定性具有良好的校准性和可靠性。
• 固定窄σ=0.01的单高斯PDF表现出极端的欠离散，PIT结果证实了此类简化方法的失败。
• 研究表明，天文学中使用的传统指标在评估PDF方面不足，而CRPS和PIT提供了稳健、可解释且统计上可靠的评估框架。
• 作者结论认为，CRPS和PIT应成为未来天文巡天中评估概率性红移估计的标准工具。