[论文解读] Simple Baselines for Image Restoration

Liangyu Chen, Xiaojie Chu+2 more|arXiv (Cornell University)|Apr 10, 2022

Image and Signal Denoising Methods被引用 25

一句话总结

本文提出一个简单的高性能图像复原基线，在低块间和块内复杂度下超越SOTA，并通过去除非线性激活引入一个非线性激活自由网络（NAFNet）。

ABSTRACT

Although there have been significant advances in the field of image restoration recently, the system complexity of the state-of-the-art (SOTA) methods is increasing as well, which may hinder the convenient analysis and comparison of methods. In this paper, we propose a simple baseline that exceeds the SOTA methods and is computationally efficient. To further simplify the baseline, we reveal that the nonlinear activation functions, e.g. Sigmoid, ReLU, GELU, Softmax, etc. are not necessary: they could be replaced by multiplication or removed. Thus, we derive a Nonlinear Activation Free Network, namely NAFNet, from the baseline. SOTA results are achieved on various challenging benchmarks, e.g. 33.69 dB PSNR on GoPro (for image deblurring), exceeding the previous SOTA 0.38 dB with only 8.4% of its computational costs; 40.30 dB PSNR on SIDD (for image denoising), exceeding the previous SOTA 0.28 dB with less than half of its computational costs. The code and the pre-trained models are released at https://github.com/megvii-research/NAFNet.

研究动机与目标

• 为图像复原提供一个低复杂度基线的动力，使其能够超越SOTA方法。
• 研究在去噪和去模糊中哪些组件对高性能是必不可少的。
• 证明在该领域实现SOTA结果可能不需要非线性激活函数。
• 推导并验证一个简化网络（NAFNet），不含非线性激活函数。
• 提供全面的消融实验并展示在去噪、去模糊和JPEG失真场景中的多功能性。

提出的方法

• 采用单阶段的UNet式架构以尽量降低块间复杂度。
• 构建一个包含卷积、归一化和跳跃连接的简单块，然后对添加组件（GELU、CA）进行消融研究。
• 将GELU替换为SimpleGate，将CA替换为Simplified Channel Attention，从而形成非线性激活自由网络（NAFNet）。
• 展示GLU是GELU的推广，并且非线性激活可以被乘性门控替代。
• 在SIDD（去噪）和GoPro（去模糊）上，对比基线和NAFNet与SOTA方法，预算约为16 GMACs。

实验结果

研究问题

• RQ1 一个简单的、单阶段的基于UNet的基线是否可以在去噪和去模糊等图像复原任务中达到SOTA性能？
• RQ2 在图像复原中实现SOTA性能是否需要非线性激活函数？
• RQ3 哪些最小组件集合（归一化、GELU/CA，以及简单注意力）足以超越以往方法？
• RQ4 所提出的非线性激活自由网络（NAFNet）在不同的修复任务（RGB/原始去噪、去模糊、JPEG失真修复）中的表现如何？

主要发现

• 一个简单的基线在低计算成本下超越SIDD去噪和GoPro去模糊的先前SOTA方法（例如GoPro 33.69 dB，SIDD 40.30 dB）。
• 用SimpleGate替换非线性激活（GELU），并使用简化通道注意力，保留或提升性能，从而实现非线性激活自由网络（NAFNet）。
• NAFNet在PSNR/SSIM方面具有竞争力或更优，且MACs与Restormer和MPRNet等基线相比相当或更低。
• 增加块数在一定程度上提升性能（36块提升PSNR；72块收益递减且延迟提高）。
• NAFNet在RGB去噪、去模糊、原始去噪和JPEG失真修复任务中实现SOTA或接近SOTA的结果。