[论文解读] Progressive Split Mamba: Effective State Space Modelling for Image Restoration

Mohammed Hassanin, Nour Moustafa+2 more|arXiv (Cornell University)|Mar 10, 2026

Generative Adversarial Networks and Image Synthesis被引用 0

一句话总结

PS-Mamba 通过保持几何的分块状态空间处理并具对称跨尺度捷径来提升局部性与全局一致性，在图像修复中超越基于 Mamba 的模型和基于注意力的模型，同时保持线性时间复杂度。

ABSTRACT

Image restoration requires simultaneously preserving fine-grained local structures and maintaining long-range spatial coherence. While convolutional networks struggle with limited receptive fields, and Transformers incur quadratic complexity for global attention, recent State Space Models (SSMs), such as Mamba, provide an appealing linear-time alternative for long-range dependency modelling. However, naively extending Mamba to 2D images exposes two intrinsic shortcomings. First, flattening 2D feature maps into 1D sequences disrupts spatial topology, leading to locality distortion that hampers precise structural recovery. Second, the stability-driven recurrent dynamics of SSMs induce long-range decay, progressively attenuating information across distant spatial positions and weakening global consistency. Together, these effects limit the effectiveness of state-space modelling in high-fidelity restoration. We propose Progressive Split-Mamba (PS-Mamba), a topology-aware hierarchical state-space framework designed to reconcile locality preservation with efficient global propagation. Instead of sequentially flattening entire feature maps, PS-Mamba performs geometry-consistent partitioning, maintaining neighbourhood integrity prior to state-space processing. A progressive split hierarchy (halves, quadrants, octants) enables structured multi-scale modelling while retaining linear complexity. To counteract long-range decay, we introduce symmetric cross-scale shortcut pathways that directly transmit low-frequency global context across hierarchical levels, stabilising information flow over large spatial extents. Extensive experiments on super-resolution, denoising, and JPEG artifact reduction show consistent improvements over recent Mamba-based and attention-based models with a clear margin.

研究动机与目标

• 在将 1D 状态空间模型应用于二维图像时解决局部性失真与长距离衰减问题。
• 通过状态空间处理前的几何一致性分块来保持空间局部性。
• 用对称跨尺度跳跃连接稳定长距离信息流。
• 结合卷积预处理与基于注意力的融合来将局部先验与全局上下文结合。
• 在超分辨、去噪和 JPEG 伪影去除任务中展示改进。

提出的方法

• 提出 Progressive Split 基状态空间模块（PS-Mamba），将特征图分割为几何对齐的分块（半区域、象限、八分体）并对每个分块使用 Mamba 序列来保持局部性。
• 在 Mamba 序列前应用轻量级卷积细化以强化局部连续性。
• 每个分块独立通过带有归一化策略的 Mamba 核心进行处理，以稳定循环计算。
• 将分块级 Mamba 特征与卷积路径相融合，使用自适应门控和双重注意力（通道与空间注意力）进行 refinement。
• 对端到端训练使用单一统一的 L1 损失（去噪情形使用 Charbonnier）来监督最终输出与中间输出。
• 通过确保分块序列长度之和等于 HW，同时有效降低每个分块的循环深度来维持线性复杂度。

(a)

实验结果

研究问题

• RQ1 几何保持、拓扑感知的分块拆分是否能在将状态空间模型应用于二维图像时缓解局部性失真？
• RQ2 对称跨尺度跳跃连接是否能抵消线性状态空间传播中的长距离衰减并提升全局一致性？
• RQ3 PS-Mamba 将分块级 Mamba、卷积先验和双重注意力结合，是否在 SR、去噪和 JPEG 伪影去除任务上提供更优的修复效果？

主要发现

• PS-Mamba 在轻量和传统 SR 设置中持续优于最近的基于 Mamba 的模型和基于注意力的模型。
• 分块级 Mamba 处理比将二维特征展平为一维序列更能保留局部邻域和边缘。
• 对称跨尺度捷径有助于稳定信息流并在层次化层级中强化低频全局上下文。
• 该架构在保留修复保真度的同时实现较强的效率，参数数量少于某些更大基线模型。
• 消融研究表明八分体级分块在局部细节与全局依赖之间提供最佳折中。
• PS-Mamba 在 SR、JPEG 伪影去除和去噪任务上具有竞争力甚至优越的性能，同时维持线性时间复杂度。

(b)