[论文解读] Xformer: Hybrid X-Shaped Transformer for Image Denoising

Jiale Zhang, Yulun Zhang+4 more|arXiv (Cornell University)|Mar 11, 2023

Image and Signal Denoising Methods被引用 6

一句话总结

Xformer 提出了一种用于图像去噪的混合 X 形 Transformer，通过独立的空间注意力和通道注意力模块，同时在空间和通道维度上建模全局依赖关系。借助双向连接单元（BCU）实现特征的交互式融合，该方法在合成数据和真实世界去噪基准上均取得了最先进性能，且参数量和浮点运算量（FLOPs）与现有方法相当。

ABSTRACT

In this paper, we present a hybrid X-shaped vision Transformer, named Xformer, which performs notably on image denoising tasks. We explore strengthening the global representation of tokens from different scopes. In detail, we adopt two types of Transformer blocks. The spatial-wise Transformer block performs fine-grained local patches interactions across tokens defined by spatial dimension. The channel-wise Transformer block performs direct global context interactions across tokens defined by channel dimension. Based on the concurrent network structure, we design two branches to conduct these two interaction fashions. Within each branch, we employ an encoder-decoder architecture to capture multi-scale features. Besides, we propose the Bidirectional Connection Unit (BCU) to couple the learned representations from these two branches while providing enhanced information fusion. The joint designs make our Xformer powerful to conduct global information modeling in both spatial and channel dimensions. Extensive experiments show that Xformer, under the comparable model complexity, achieves state-of-the-art performance on the synthetic and real-world image denoising tasks. We also provide code and models at https://github.com/gladzhang/Xformer.

研究动机与目标

• 解决 CNN 和标准 Transformer 在建模图像去噪中长距离依赖关系和动态内容方面的局限性。
• 通过联合建模空间和通道令牌之间的交互，提升全局表征学习能力。
• 设计一种高效且并行的网络架构，在不增加计算成本的前提下融合多维全局特征。
• 开发一种双向融合机制，超越简单的拼接操作，增强特征表征能力。
• 在合成与真实世界图像去噪任务中实现最先进性能，同时计算开销最小化。

提出的方法

• Xformer 采用并行双分支架构：一个分支使用空间注意力建模空间维度上的局部块交互。
• 另一分支应用通道注意力，捕捉通道维度上的全局上下文，实现长距离依赖建模。
• 每个分支均采用编码器-解码器结构，从空间和通道表征中提取多尺度特征。
• 引入双向连接单元（BCU），通过 3×3 卷积融合双分支特征，并结合残差连接以增强表征学习。
• BCU 实现双分支之间的信息交互，使每个分支能利用对方的互补信息来优化自身特征。
• 网络在合成与真实世界去噪数据集上端到端训练，采用标准的 L1 损失和感知损失目标。

实验结果

研究问题

• RQ1 能否通过并行建模空间和通道注意力，提升图像去噪中的全局表征能力？
• RQ2 与单向或拼接式融合相比，空间与通道分支之间的双向特征融合如何提升去噪性能？
• RQ3 该混合 X 形 Transformer 是否能在与现有 SOTA 方法相当的 FLOPs 和模型大小下实现最先进性能？
• RQ4 在噪声非独立同分布且复杂的现实世界图像中，该方法表现如何？
• RQ5 同时整合局部块级与全局通道级注意力，是否能更好地保留精细纹理和高频细节？

主要发现

• 在 Urban100 数据集上，σ=50 时，Xformer 的 PSNR 达到 32.18 dB，优于 Restormer 的 0.34 dB，且模型复杂度相近。
• 在 SIDD 真实世界基准上，Xformer 在所有对比方法中取得了最高的 PSNR 和 SSIM 分数，优于 Uformer 和 Restormer。
• 与 Uformer 相比，Xformer 将 FLOPs 降低 2.01 倍，同时性能更高，展现出更优的效率。
• 视觉结果表明，Xformer 在保留精细纹理和高频分量方面优于 SwinIR、Restormer 等领先方法。
• 消融实验证实，双向连接单元（BCU）显著提升了特征融合效果，有效增强了表征学习能力。
• Xformer 在真实世界噪声下泛化能力出色，DND 基准测试结果更优，且在具有挑战性的 SIDD 样例中输出视觉效果更佳。