[论文解读] Pyramid Attention Networks for Image Restoration

Yiqun Mei, Yuchen Fan+7 more|arXiv (Cornell University)|Apr 28, 2020

Advanced Image Processing Techniques参考文献 49被引用 72

一句话总结

PANet 引入了一个金字塔注意力模块，用于捕捉多尺度自相似性以改进图像修复任务，在去噪、去马赛克、压缩伪影消除和超分辨率等领域取得了最先进的结果，且 backbone 简单。

ABSTRACT

Self-similarity refers to the image prior widely used in image restoration algorithms that small but similar patterns tend to occur at different locations and scales. However, recent advanced deep convolutional neural network based methods for image restoration do not take full advantage of self-similarities by relying on self-attention neural modules that only process information at the same scale. To solve this problem, we present a novel Pyramid Attention module for image restoration, which captures long-range feature correspondences from a multi-scale feature pyramid. Inspired by the fact that corruptions, such as noise or compression artifacts, drop drastically at coarser image scales, our attention module is designed to be able to borrow clean signals from their "clean" correspondences at the coarser levels. The proposed pyramid attention module is a generic building block that can be flexibly integrated into various neural architectures. Its effectiveness is validated through extensive experiments on multiple image restoration tasks: image denoising, demosaicing, compression artifact reduction, and super resolution. Without any bells and whistles, our PANet (pyramid attention module with simple network backbones) can produce state-of-the-art results with superior accuracy and visual quality. Our code will be available at https://github.com/SHI-Labs/Pyramid-Attention-Networks

研究动机与目标

• 在图像修复中激发对自相似先验的使用，并指出单尺度非本地注意力的局限性。
• 提出一个通用的金字塔注意力模块，从特征金字塔聚合跨尺度相关性。
• 展示 PANet 在多种修复任务中的有效性，且仅做极小的结构性修改。

提出的方法

• 定义扩展非本地注意力到多个尺度层级的金字塔注意力。
• 采用通过下采样特征图获得的区域描述子来实现具有尺度不变性的注意力。
• 通过在 ResNet 风格的骨干中插入一个金字塔注意力块并使用 L1 损失训练，将其扩展为完整的 PANet。
• 对亲合函数使用嵌入高斯，值变换使用线性嵌入，并对金字塔跨层进行 softmax 归一化。
• 结合基于补丁的区域对区域匹配并加入邻域约束以提高鲁棒性。
• 展示实现为全卷积且与多种架构兼容。

实验结果

研究问题

• RQ1 通过金字塔注意力捕获的跨尺度自相似性是否能在多种任务中提升修复质量？
• RQ2 整合多尺度注意力是否优于单尺度非本地注意力和现有的最先进方法？
• RQ3 所提出的 PANet 是不是一个可跨修复架构和任务使用的通用构建块？

主要发现

• PANet 在标准基准和数据集上在去噪、去马赛克、压缩伪影消除和超分辨率上实现了最先进的结果。
• 在一个简单的骨干中只有一个金字塔注意力块就能带来明显的改进，超过以往的最佳方法。
• 多尺度相关性由金字塔注意力捕获，提供稳健的改进，尤其是在具有丰富跨尺度自示例的场景（如 Urban100）。
• 金字塔注意力在像素级和单尺度非本地匹配方面优于它们，即使在轻量化的 PANet 变体中也有效。
• 可视化显示注意力图在多个尺度上聚焦于信息丰富的区域，验证了跨尺度依赖建模。