[论文解读] UnCRtainTS: Uncertainty Quantification for Cloud Removal in Optical Satellite Time Series

Patrick Ebel, Vivien Sainte Fare Garnot+3 more|arXiv (Cornell University)|Apr 11, 2023

Advanced Image Fusion Techniques被引用 5

一句话总结

UnCRtainTS 提出了一种新颖的基于注意力机制的深度学习架构，用于多时相光学卫星云去除，并集成了多变量不确定性量化。通过在图像重建的同时预测像素级的偶然不确定性，该方法在 SEN12MS-CR-TS 数据集上实现了最先进性能，并通过校准良好的不确定性估计实现了可信的质量控制。

ABSTRACT

Clouds and haze often occlude optical satellite images, hindering continuous, dense monitoring of the Earth's surface. Although modern deep learning methods can implicitly learn to ignore such occlusions, explicit cloud removal as pre-processing enables manual interpretation and allows training models when only few annotations are available. Cloud removal is challenging due to the wide range of occlusion scenarios -- from scenes partially visible through haze, to completely opaque cloud coverage. Furthermore, integrating reconstructed images in downstream applications would greatly benefit from trustworthy quality assessment. In this paper, we introduce UnCRtainTS, a method for multi-temporal cloud removal combining a novel attention-based architecture, and a formulation for multivariate uncertainty prediction. These two components combined set a new state-of-the-art performance in terms of image reconstruction on two public cloud removal datasets. Additionally, we show how the well-calibrated predicted uncertainties enable a precise control of the reconstruction quality.

研究动机与目标

• 解决从时间上受损的序列中重建无云光学卫星图像并实现可靠质量评估的挑战。
• 将多变量不确定性量化集成到卫星图像重建中，以支持具有置信度意识的下游应用。
• 通过利用全分辨率特征图和基于注意力机制的时间编码，提升重建保真度和不确定性校准效果。
• 评估输入序列长度和辅助 SAR 数据对重建质量与不确定性可靠性的影响。
• 证明不确定性预测能够识别低质量重建结果，并反映现实世界中的动态现象，如瞬态事件。

提出的方法

• 提出一种新颖的基于注意力机制的神经网络架构，直接在全分辨率特征图上操作，避免下采样以保留空间细节。
• 采用对角协方差矩阵建模多变量偶然不确定性，通过负对数似然损失在训练过程中实现像素级方差预测。
• 将不确定性预测与深度集成方法结合，以估计认知不确定性，从而提升整体不确定性校准效果。
• 使用包含光学与 SAR 数据的多模态输入，以增强重建鲁棒性并降低不确定性。
• 采用混合损失函数进行模型训练，结合像素级负对数似然损失用于不确定性建模和感知损失用于高频细节恢复。
• 应用时间自注意力机制以编码时序序列中的长程依赖关系，从而更好地建模如波浪或变化作物等瞬态特征。

Figure 1 : Overview: Our attention-based UnCRtainTS architecture predicts a single cloud-free image from a sequence of cloudy observations. For each reconstructed pixel, our method also estimates the aleatoric uncertainty of the prediction. Note how higher uncertainties (in red) are associated with

实验结果

研究问题

• RQ1 在多时相设置下，多变量不确定性量化是否能提升云去除卫星图像的可靠性？
• RQ2 不确定性估计的引入在多大程度上增强了重建卫星图像的可解释性与可信度？
• RQ3 更长的输入序列长度是否能同时提升图像重建质量与不确定性校准效果？
• RQ4 辅助 SAR 数据在多大程度上降低了不确定性并提升了重建性能？
• RQ5 不确定性图是否能有效标识出持续遮挡区域、云影区域或动态特征（如破碎海浪或成熟作物）？

主要发现

• UnCRtainTS 在 SEN12MS-CR-TS 基准测试中达到最先进性能，在使用 T=4 个输入时间点的测试集上，PSNR 达到 28.41，SSIM 达到 0.875。
• 该方法将像素级不确定性校准误差（UCE）降低至 0.001，图像级 UCE 降低至 0.002，表明不确定性估计具有良好的校准性。
• 相较于 T=2 或 T=3，使用更长的输入序列（T=4）可获得更优的重建质量与更优的不确定性校准效果。
• 若排除 SAR 数据，图像级与像素级 UCE 均显著增加，证明 SAR 数据可提升重建的可信度。
• 不确定性图能有效突出显示云影区域、持续遮挡区域以及动态特征（如海浪、作物颜色变化）区域。
• 模型的不确定性预测与实际重建误差具有强相关性，从而可在下游应用中实现可靠的品质控制。

Figure 2 : UnCRtainTS. The network consists of three main parts, applied along a main branch of MBConv blocks [ 60 ] that is processing feature maps at full input resolution: First, an encoder is applied in parallel to the $T$ time points. Then, an attention-based temporal aggregator computes attent