[论文解读] RSDehamba: Lightweight Vision Mamba for Remote Sensing Satellite Image Dehazing

Huiling Zhou, Xianhao Wu+3 more|arXiv (Cornell University)|May 16, 2024

Image Enhancement Techniques被引用 5

一句话总结

RSDehamba 引入一种轻量级的基于 Mamba 的 U-Net，具备 Vision Dehamba Blocks 和 Direction-aware Scan Module，以实现对遥感图像去雾的高效处理，并具备强大的全局-局部特征建模。

ABSTRACT

Remote sensing image dehazing (RSID) aims to remove nonuniform and physically irregular haze factors for high-quality image restoration. The emergence of CNNs and Transformers has taken extraordinary strides in the RSID arena. However, these methods often struggle to demonstrate the balance of adequate long-range dependency modeling and maintaining computational efficiency. To this end, we propose the first lightweight network on the mamba-based model called RSDhamba in the field of RSID. Greatly inspired by the recent rise of Selective State Space Model (SSM) for its superior performance in modeling linear complexity and remote dependencies, our designed RSDehamba integrates the SSM framework into the U-Net architecture. Specifically, we propose the Vision Dehamba Block (VDB) as the core component of the overall network, which utilizes the linear complexity of SSM to achieve the capability of global context encoding. Simultaneously, the Direction-aware Scan Module (DSM) is designed to dynamically aggregate feature exchanges over different directional domains to effectively enhance the flexibility of sensing the spatially varying distribution of haze. In this way, our RSDhamba fully demonstrates the superiority of spatial distance capture dependencies and channel information exchange for better extraction of haze features. Extensive experimental results on widely used benchmarks validate the surpassing performance of our RSDehamba against existing state-of-the-art methods.

研究动机与目标

• 在非均匀雾霾条件下，激发对高精度遥感图像去雾的需求。
• 开发一种在长距离依赖建模与计算效率之间取得平衡的轻量级架构。
• 将 State Space Models (SSM) 集成到 U-Net 骨干中，以捕捉全局上下文。
• 引入 Direction-aware Scan Module (DSM) 以处理空间上变化的雾霾分布。
• 在标准基准上与最先进的 RSID 方法进行对比评估，以展示效率和性能。

提出的方法

• 以 Vision Dehamba Blocks (VDB) 作为核心单元，嵌入一个三层 U-Net 骨干。
• 在 VDB 内使用 State Space Model (SSM) 以实现长距离空间依赖。
• 整合 Residual FFN 与归一化，以实现 VDBs 中稳定的特征交互。
• 引入 Direction-aware Scan Module (DSM) 以从四个空间方向融合特征信息。
• 将双分支 SSM 的输出进行线性融合，以提高去雾性能。
• 使用 L1 损失进行训练，以最小化与真值无雾图像的差异。

实验结果

研究问题

• RQ1 一个轻量级的 Mamba 基架能否在显著减少参数量和 FLOPs 的情况下达到最先进的 RSID 性能？
• RQ2 将 SSM 集成到 U-Net 骨干是否能改善对非均匀雾霾的全局上下文建模？
• RQ3 DSM 是否能有效从多个方向捕捉空间变化的雾霾分布以提升去雾质量？
• RQ4 DSM 扫描次数对去雾性能有何影响？
• RQ5 在标准基准上，RSDehamba 相较于基于 CNN 和 Transformer 的 RSID 方法如何？

主要发现

• RSDehamba 在 RSID 基准上实现了最先进的性能，同时保持极小的模型规模（~1.80M 参数）。
• 搭载 SSM 的 Vision Dehamba Block (VDB) 为去雾提供强大的全局上下文建模。
• Direction-aware Scan Module (DSM) 促进四个方向之间的信息交流，从而改善对空间变动雾霾的处理。
• 四路径 DSM 配置在测试设置中实现了最佳的 PSNR/SSIM 权衡。
• 消融实验表明所提出的 SSM 设计和 DSM 相对于变体显著提升了 PSNR 和 SSIM。
• RSDehamba 在 SateHaze1k 上在 PSNR/SSIM 上超越了若干 CNN- 和 Transformer 基线方法。