[论文解读] Spatially-Attentive Patch-Hierarchical Network for Adaptive Motion Deblurring

Maitreya Suin, Kuldeep Purohit+1 more|arXiv (Cornell University)|Apr 11, 2020

Advanced Image Processing Techniques参考文献 26被引用 15

一句话总结

本文提出一种空间注意力的分块层次网络，通过在每个像素上自适应调制滤波器和感受野，以处理动态场景中空间变化的运动模糊。通过整合内容感知的全局-局部注意力机制与动态滤波学习，该方法在性能上达到当前最优的去模糊效果，且相比以往基于CNN的方法在速度和效率方面均有提升。

ABSTRACT

This paper tackles the problem of motion deblurring of dynamic scenes. Although end-to-end fully convolutional designs have recently advanced the state-of-the-art in non-uniform motion deblurring, their performance-complexity trade-off is still sub-optimal. Existing approaches achieve a large receptive field by increasing the number of generic convolution layers and kernel-size, but this comes at the expense of of the increase in model size and inference speed. In this work, we propose an efficient pixel adaptive and feature attentive design for handling large blur variations across different spatial locations and process each test image adaptively. We also propose an effective content-aware global-local filtering module that significantly improves performance by considering not only global dependencies but also by dynamically exploiting neighbouring pixel information. We use a patch-hierarchical attentive architecture composed of the above module that implicitly discovers the spatial variations in the blur present in the input image and in turn, performs local and global modulation of intermediate features. Extensive qualitative and quantitative comparisons with prior art on deblurring benchmarks demonstrate that our design offers significant improvements over the state-of-the-art in accuracy as well as speed.

研究动机与目标

• 解决动态场景中图像空间变化的非均匀运动模糊问题。
• 克服深度卷积神经网络中固定、空间不变滤波器导致的高计算成本与次优性能的局限性。
• 设计一种高效架构，根据局部模糊特征动态调整感受野与滤波权重。
• 通过自适应注意力与分层特征学习，改善单图像去模糊中的精度-速度权衡。

提出的方法

• 网络采用分块层次的编码器-解码器架构，在多尺度上处理图像，以实现有效的局部与全局特征学习。
• 内容感知的全局-局部滤波（PDF）模块根据局部模糊内容动态调整滤波权重与空间偏移，实现方向性、自适应滤波。
• 在编码器与解码器各层级之间使用交叉注意力（CA）模块，以增强跨尺度的特征传播与表征学习。
• PDF模块通过自适应权重与偏移学习空间可变滤波器，使网络能够与图像中的主要运动方向对齐。
• 在每个阶段内部应用自注意力机制，以捕捉长距离依赖关系并提升特征表征能力。
• 融合掩码根据局部模糊复杂度自适应地结合来自两个分支（自注意力与动态滤波）的输出。

实验结果

研究问题

• RQ1 基于深度学习的去模糊模型是否可通过在每个空间位置自适应调整滤波参数与感受野，实现更高的精度与效率？
• RQ2 内容感知、空间可变滤波与固定、均匀卷积层相比，在处理复杂、非均匀运动模糊时表现如何？
• RQ3 全局-局部注意力与交叉注意力机制在多大程度上提升了特征表征与去模糊性能？
• RQ4 自适应滤波与注意力机制的融合是否在去模糊任务中带来互补的性能增益？
• RQ5 所提方法是否兼具高精度与计算高效性，从而实现在真实世界运动模糊图像上的实时推理？

主要发现

• 所提方法在Real-World Deblurring基准上取得30.76的PSNR，优于先前的SOTA方法。
• 与以往端到端的基于CNN的去模糊网络相比，该模型展现出更优的推理速度与更小的计算开销。
• 可视化结果表明，注意力图与主要模糊区域高度相关，验证了网络聚焦关键图像区域的能力。
• 动态滤波模块估计的偏移方向与合成点 spread 函数（PSF）角度高度一致（例如，0°、45°、90°、135°分别对应11°、50°、81°、126°），验证了其方向自适应能力。
• 消融实验表明，将PDF模块与交叉注意力结合使用，性能优于单独使用任一组件。
• 融合掩码在高模糊区域（如运动物体）优先选择动态滤波分支，在均匀区域则优先选择注意力分支，体现了上下文感知的决策能力。