[论文解读] Uncertainty quantification for probabilistic machine learning in earth observation using conformal prediction

Geethen Singh, Glenn R. Moncrieff+4 more|arXiv (Cornell University)|Jan 12, 2024

Atmospheric and Environmental Gas DynamicsEnvironmental Science被引用 3

一句话总结

本文提出了一种基于置信预测的模型无关不确定性量化框架，用于地球观测（EO）中的概率机器学习，可在无需访问训练数据的情况下，实现统计上有效的、计算高效的预测区域。该方法在从本地到全球的数据集上，无缝集成至Google Earth Engine工作流中，显著提升了土地覆盖制图和生物量估算等关键决策应用的可靠性。

ABSTRACT

Unreliable predictions can occur when using artificial intelligence (AI) systems with negative consequences for downstream applications, particularly when employed for decision-making. Conformal prediction provides a model-agnostic framework for uncertainty quantification that can be applied to any dataset, irrespective of its distribution, post hoc. In contrast to other pixel-level uncertainty quantification methods, conformal prediction operates without requiring access to the underlying model and training dataset, concurrently offering statistically valid and informative prediction regions, all while maintaining computational efficiency. In response to the increased need to report uncertainty alongside point predictions, we bring attention to the promise of conformal prediction within the domain of Earth Observation (EO) applications. To accomplish this, we assess the current state of uncertainty quantification in the EO domain and found that only 20% of the reviewed Google Earth Engine (GEE) datasets incorporated a degree of uncertainty information, with unreliable methods prevalent. Next, we introduce modules that seamlessly integrate into existing GEE predictive modelling workflows and demonstrate the application of these tools for datasets spanning local to global scales, including the Dynamic World and Global Ecosystem Dynamics Investigation (GEDI) datasets. These case studies encompass regression and classification tasks, featuring both traditional and deep learning-based workflows. Subsequently, we discuss the opportunities arising from the use of conformal prediction in EO. We anticipate that the increased availability of easy-to-use implementations of conformal predictors, such as those provided here, will drive wider adoption of rigorous uncertainty quantification in EO, thereby enhancing the reliability of uses such as operational monitoring and decision making.

研究动机与目标

• 为解决地球观测（EO）机器学习应用中缺乏可靠不确定性报告的问题。
• 提出一种与模型无关的不确定性量化方法，适用于多种EO数据集和模型。
• 在无需访问训练数据或模型架构的情况下，实现统计上有效的、计算高效的预测区域。
• 展示置信预测在现有Google Earth Engine工作流中用于回归和分类任务的实用集成。
• 推动在操作性EO监测和决策系统中更广泛地采用严谨的不确定性报告。

提出的方法

• 本文将置信预测作为后处理不确定性量化框架应用，独立于底层模型和训练数据运行。
• 通过在校准集上计算非符合性得分，定义具有保证覆盖概率的预测区域。
• 该方法针对回归和分类任务进行了适配，每类任务均采用独立的校准流程。
• 该框架以模块化工具形式实现，兼容Google Earth Engine，可无缝集成至现有机器学习流程中。
• 支持传统模型与深度学习模型，在本地和全球EO数据集上均保持计算效率。
• 该方法在独立同分布（i.i.d.）假设下，保证边际和条件覆盖性，提供统计上有效的不确定性估计。

实验结果

研究问题

• RQ1 置信预测是否能在不访问训练数据或模型结构的情况下，为地球观测模型提供统计上有效的不确定性量化？
• RQ2 置信预测在涵盖多种EO数据集（包括Dynamic World和GEDI）时，其覆盖性和效率表现如何？
• RQ3 置信预测在多大程度上可无缝集成至基于Google Earth Engine的现有ML工作流中以支持实际应用？
• RQ4 与现有EO不确定性量化方法相比，置信预测在可靠性与计算成本方面表现如何？
• RQ5 在地球观测应用的决策中采用置信预测具有哪些实际影响？

主要发现

• 在所审查的Google Earth Engine数据集中，仅有20%包含了任何形式的不确定性信息，凸显了当前EO实践中的关键缺口。
• 所提出的置信预测框架在回归和分类任务中均实现了有效的覆盖率，符合理论保证。
• 该方法保持了计算效率，支持在Global-scale EO数据集（如Dynamic World和GEDI）上的可扩展部署。
• 将置信预测模块集成至Google Earth Engine工作流的过程无缝顺畅，支持传统模型与深度学习模型。
• 该方法优于EO文献中普遍存在的但不可靠的不确定性估计技术。
• 本研究证明，置信预测可显著提升操作性地球观测应用中机器学习预测的可靠性。