[论文解读] Removing Clouds and Recovering Ground Observations in Satellite Image Sequences via Temporally Contiguous Robust Matrix Completion

Jialei Wang, Peder A. Olsen+2 more|arXiv (Cornell University)|Apr 13, 2016

Advanced Image Fusion Techniques被引用 3

一句话总结

本文提出 TECROMAC，一种时间连续的鲁棒矩阵补全方法，通过利用低秩结构和时间平滑性，从卫星图像序列中恢复被云层遮挡的地面场景。该方法在模拟和真实的 MODIS 数据上均实现了优越的重建精度，即使在云层覆盖严重的情况下，也优于矩阵补全和鲁棒 PCA 方法。

ABSTRACT

We consider the problem of removing and replacing clouds in satellite image sequences, which has a wide range of applications in remote sensing. Our approach first detects and removes the cloud-contaminated part of the image sequences. It then recovers the missing scenes from the clean parts using the proposed "TECROMAC" (TEmporally Contiguous RObust MAtrix Completion) objective. The objective function balances temporal smoothness with a low rank solution while staying close to the original observations. The matrix whose the rows are pixels and columnsare days corresponding to the image, has low-rank because the pixels reflect land-types such as vegetation, roads and lakes and there are relatively few variations as a result. We provide efficient optimization algorithms for TECROMAC, so we can exploit images containing millions of pixels. Empirical results on real satellite image sequences, as well as simulated data, demonstrate that our approach is able to recover underlying images from heavily cloud-contaminated observations.

研究动机与目标

• 为解决卫星图像序列中云层污染的问题，该问题限制了土地监测和农业等遥感应用。
• 开发一种无需外部数据（如云掩膜或非光学传感器）的云层去除方法。
• 即使整幅图像被云层覆盖，也能实现对地面场景的鲁棒恢复。
• 设计一种可扩展至包含数百万像素的高分辨率图像的高效优化框架。
• 在时间平滑性、低秩结构和对云检测误差的鲁棒性之间实现平衡。

提出的方法

• 该方法采用两阶段框架：首先通过像素强度阈值（例如 8 位 RGB 中的高亮度）检测云层，然后利用 TECROMAC 恢复缺失数据。
• TECROMAC 将图像序列建模为矩阵，其中像素为行，时间点为列，通过施加低秩结构来反映随时间保持一致的地表类型。
• 目标函数结合了核范数最小化（用于低秩性）、Frobenius 范数对观测值的保真度，以及 ℓ₁-范数正则化（用于对检测误差的鲁棒性）。
• 通过增广拉格朗日方法结合非精确邻近梯度（ALM-IPG）或交替最小化（ALT）求解优化问题，实现对大图像的可扩展性。
• 该模型显式强制时间连续性，确保连续时间帧之间平滑过渡，即使某些帧被完全遮蔽。
• 该方法被表述为约束优化问题：在满足 X + E = Y 的条件下，最小化 ‖X‖⁎ + λ₁‖X‖F + λ₂‖E‖₁，其中 Y 为观测到的（去云）数据矩阵。

实验结果

研究问题

• RQ1 当整帧图像被云层遮挡时，低秩矩阵补全方法是否能有效恢复卫星图像中的地面场景？
• RQ2 如何在矩阵补全框架中联合强制时间连续性和对云检测误差的鲁棒性？
• RQ3 高效的优化算法能否在保持精度的同时扩展到包含数百万像素的高分辨率卫星图像？
• RQ4 在观测值存在噪声或被污染的情况下，引入 ℓ₁-范数正则化是否能提升性能，优于标准矩阵补全方法？
• RQ5 与矩阵补全、鲁棒 PCA 和插值等现有方法相比，所提出的 TECROMAC 方法在重建质量与鲁棒性方面表现如何？

主要发现

• 在 Escalator 视频上，TECROMAC 的相对重建误差（RRE）为 0.0153，显著低于矩阵补全（0.2760）和鲁棒矩阵补全（0.2155）。
• 在 Lobby 视频上，TECROMAC 的 RRE 为 0.0246，优于插值方法（0.1151）和 TECMAC（0.0646）。
• 在 Watersurface 视频上，TECROMAC 的 RRE 最低，仅为 0.0045，而矩阵补全为 0.9880，鲁棒矩阵补全为 0.9127。
• ALM-ALT 算法在 Escalator 上收敛更快（72 秒），优于 ALM-IPG（147 秒），尽管 RRE 略高，表明速度与精度之间存在权衡。
• 在真实 MODIS 卫星数据（400×400×181）上，TECROMAC 在视觉和定量指标上均优于现有模型，即使在严重云层覆盖下也能高保真度地恢复地面场景。
• 云检测阶段成功识别出云区域，即使在高亮度（白色）背景区域也表现稳健，证明了基于强度阈值方法的鲁棒性。