[论文解读] Restoring Images in Adverse Weather Conditions via Histogram Transformer

Shangquan Sun, Wenqi Ren+3 more|arXiv (Cornell University)|Jul 14, 2024

Advanced Vision and Imaging被引用 4

一句话总结

该论文提出 Histoformer，一种基于 Transformer 的新型架构，用于在雨、雪、雾等恶劣天气条件下实现统一的图像复原。通过引入基于直方图的自注意力机制，将像素按强度分组为动态区间，并在这些区间内或区间间应用自注意力，模型比传统的空间或通道注意力更有效地捕捉长程空间依赖关系。该方法在基准数据集上实现了最先进性能，相比之前的方法在 PSNR 上提升了 0.96 dB。

ABSTRACT

Transformer-based image restoration methods in adverse weather have achieved significant progress. Most of them use self-attention along the channel dimension or within spatially fixed-range blocks to reduce computational load. However, such a compromise results in limitations in capturing long-range spatial features. Inspired by the observation that the weather-induced degradation factors mainly cause similar occlusion and brightness, in this work, we propose an efficient Histogram Transformer (Histoformer) for restoring images affected by adverse weather. It is powered by a mechanism dubbed histogram self-attention, which sorts and segments spatial features into intensity-based bins. Self-attention is then applied across bins or within each bin to selectively focus on spatial features of dynamic range and process similar degraded pixels of the long range together. To boost histogram self-attention, we present a dynamic-range convolution enabling conventional convolution to conduct operation over similar pixels rather than neighbor pixels. We also observe that the common pixel-wise losses neglect linear association and correlation between output and ground-truth. Thus, we propose to leverage the Pearson correlation coefficient as a loss function to enforce the recovered pixels following the identical order as ground-truth. Extensive experiments demonstrate the efficacy and superiority of our proposed method. We have released the codes in Github.

研究动机与目标

• 为解决现有基于 Transformer 的方法在固定范围或仅通道的自注意力机制下，难以捕捉长程空间特征的局限性。
• 将多种恶劣天气条件（如雨、雪、雾）的图像复原统一到一个高效模型中。
• 通过基于强度的动态像素分组并应用基于强度区间的注意力机制，提升特征表示能力。
• 通过动态范围卷积和双尺度门控前馈模块，增强特征学习能力。
• 通过引入基于皮尔逊相关系数的损失函数，保留预测图像与真实图像之间的线性关系，提升重建保真度。

提出的方法

• 基于直方图的自注意力机制通过按像素值降序排序，将空间特征划分为基于强度的区间，实现区间内或区间间的自注意力计算，从而建模长程、与天气相关的特征。
• 两种重排策略——按区间重排（BHR）和按频率重排（FHR）——使模型能够在全局整合与细粒度特征提取之间取得平衡。
• 动态范围卷积在可分离卷积前对像素进行水平和垂直方向的排序，使网络能够聚焦于空间上分散但强度相似的天气退化像素。
• 双尺度门控前馈（DGFF）模块通过像素重排和自适应门控，聚合多范围和多尺度的特征，增强多范围特征建模能力。
• 提出一种基于皮尔逊相关系数的新相关性损失函数，强制恢复图像与真实图像之间的线性排序一致性，从而提升感知质量。
• Histoformer 架构将这些组件整合为统一的 Transformer 主干网络，端到端训练以联合实现去雨、去雾和去雪。

(a) Input patches

实验结果

研究问题

• RQ1 与固定范围或仅通道的注意力机制相比，基于直方图的自注意力是否能更有效地提升恶劣天气条件下图像复原中的长程空间特征建模能力？
• RQ2 将像素按强度分组为动态区间，如何增强对空间上分散但光谱相似的天气退化模式的建模能力？
• RQ3 与标准的像素级损失相比，引入基于相关性的损失函数在多大程度上提升了恢复图像的结构一致性和线性一致性？
• RQ4 与标准卷积相比，动态范围卷积在学习非局部、强度相似的天气伪影方面有何改进？
• RQ5 在直方图自注意力机制中，如何配置区间的数量和特征维度，以在性能与计算成本之间取得最佳平衡？

主要发现

• 所提出的 Histoformer 在 SIREN 基准数据集上相比最先进方法 TKSA 实现了 0.96 dB 的 PSNR 提升，证明了其卓越的复原性能。
• 与普通卷积相比，动态范围卷积使 PSNR 提升 0.05 dB，当按先水平后垂直顺序排序时性能最佳。
• 在直方图自注意力模块中同时使用 BHR 和 FHR 分支时，PSNR 达到最高值 32.08，SSIM 达到 0.9389，优于单分支配置。
• 当相关性损失权重为 1 时性能最佳，相比无相关性损失的基线，PSNR 提升 0.31 dB。
• DGFF 模块相比 MSFN 提升 PSNR 0.3 dB，相比普通前馈网络提升 0.76 dB，证实其在多尺度与多范围特征学习中的有效性。
• 在真实世界应用中，Histoformer 能成功恢复雪景图像，使下游目标检测系统能够识别原本被遮挡的物体，如门和建筑物。

(b) Existing self-attention