[论文解读] Thick Cloud Removal of Remote Sensing Images Using Temporal Smoothness and Sparsity Regularized Tensor Optimization

Chenxi Duan|arXiv (Cornell University)|Oct 20, 2020

Image Enhancement Techniques参考文献 45被引用 39

一句话总结

本文提出了一种新颖的张量优化方法 TSSTO，通过利用时间平滑性和空间稀疏性，从遥感图像中去除厚云和云影。在 ADMM 框架内结合单向总变差和稀疏性正则化，TSSTO 即使在大面积云覆盖的情况下，也能有效恢复出细节丰富且光谱一致的图像，在多种传感器和分辨率下，其在视觉质量和定量指标方面均优于现有方法。

ABSTRACT

In remote sensing images, the presence of thick cloud accompanying shadow can affect the quality of subsequent processing and limit the scenarios of application. Hence, to make good use of such images, it is indispensable to remove the thick cloud and cloud shadow as well as recover the cloud-contaminated pixels. Generally, the thick cloud and cloud shadow element are not only sparse but also smooth along the spatial horizontal and vertical direction, while the clean element is smooth along the temporal direction. Guided by the above insight, a novel thick cloud removal method for remote sensing images based on temporal smoothness and sparsity regularized tensor optimization (TSSTO) is proposed in this paper. Firstly, the sparsity norm is utilized to boost the sparsity of the cloud and cloud shadow element, and unidirectional total variation (UTV) regularizers are applied to ensure the smoothness in different directions. Then, through thresholding, the cloud mask and the cloud shadow mask can be acquired and used to guide the substitution. Finally, the reference image is selected to reconstruct details of the repairing area. A series of experiments are conducted both on simulated and real cloud-contaminated images from different sensors and with different resolutions, and the results demonstrate the potential of the proposed TSSTO method for removing cloud and cloud shadow from both qualitative and quantitative viewpoints.

研究动机与目标

• 为解决光学遥感图像中厚云和云影污染的挑战，此类污染严重降低图像可用性并限制下游应用。
• 开发一种云去除方法，能够有效恢复缺失的地表信息，同时保持光谱一致性和空间细节。
• 利用多时相图像之间的时序一致性以及云/云影的空间稀疏性，以提高重建保真度。
• 最小化现有方法中常见的伪影和拼接痕迹，尤其在大面积云覆盖区域。
• 通过在统一的张量框架中整合光谱、空间和时序信息，降低对高质量输入的依赖。

提出的方法

• 将云和云影去除建模为低秩加稀疏张量分解问题，采用张量优化方法求解。
• 在云/云影区域应用单向总变差（UTV）正则化，以在水平和垂直方向上强制实现平滑性。
• 对云和云影分量施加稀疏性范数，以增强其结构紧凑性。
• 使用时间总变差正则化，确保干净图像分量在时间维度上的平滑性。
• 采用交替方向乘子法（ADMM）求解优化模型，保证收敛性。
• 应用信息克隆技术，利用参考图像数据恢复重建后云和云影区域的精细细节。

实验结果

研究问题

• RQ1 基于张量的优化框架能否在有效恢复遥感图像中大面积厚云覆盖区域的同时，保持良好的光谱和空间保真度？
• RQ2 与标准低秩或矩阵基方法相比，引入单向总变差和稀疏性正则化在云和云影检测与重建方面有何改进？
• RQ3 多时相图像之间的时序平滑性在多大程度上提升了云去除结果的准确性和一致性？
• RQ4 在视觉质量与定量指标（如 SD、FD 和 IE）方面，所提出的 TSSTO 方法与最先进方法相比表现如何？
• RQ5 该方法是否能在不同传感器和图像分辨率下保持性能，而无需进行传感器特定的调优？

主要发现

• TSSTO 在模拟数据（图 14）上达到最高的结构差异（SD）值 5.726011，在真实数据（图 16）上达到 22.8344，表明其具有优越的结构保持能力。
• 该方法在模拟数据上实现最佳光谱距离（FD）1789.9368，在真实数据上达到 2615.7837，显示出强大的光谱一致性。
• TSSTO 在模拟数据上实现最高的图像熵（IE）14.8556，在真实数据上达到 6.2769，表明其在纹理和细节恢复方面表现更优。
• 视觉对比显示，TSSTO 生成的结果最自然，且在河流和城市等复杂区域中伪影和拼接痕迹最少。
• 使用 TSSTO 进行云和云影检测可生成比 MFC 和 MAJA 处理器更准确的掩膜，减少了将云影误分类为清晰区域的情况。
• 该方法对云大小增加表现出鲁棒性，在不显著降低性能的前提下维持了高质量的重建效果。