[论文解读] Single Image Super Resolution based on a Modified U-net with Mixed Gradient Loss

Zhengyang Lu, Ying Chen|arXiv (Cornell University)|Nov 21, 2019

Advanced Image Processing Techniques参考文献 35被引用 24

一句话总结

该论文提出了一种改进的U-Net架构，结合混合梯度损失用于单图像超分辨率（SISR），提升了边缘锐度和重建质量。通过移除批量归一化层和冗余卷积层，模型减少了参数量和推理时间，同时采用结合MSE与加权均值梯度误差（MixGE）的损失函数，增强了结构保真度，在SET14、BSD300和ICDAR2003数据集上实现了最先进（SOTA）的PSNR和SSIM性能。

ABSTRACT

Single image super-resolution (SISR) is the task of inferring a high-resolution image from a single low-resolution image. Recent research on super-resolution has achieved great progress due to the development of deep convolutional neural networks in the field of computer vision. Existing super-resolution reconstruction methods have high performances in the criterion of Mean Square Error (MSE) but most methods fail to reconstruct an image with shape edges. To solve this problem, the mixed gradient error, which is composed by MSE and a weighted mean gradient error, is proposed in this work and applied to a modified U-net network as the loss function. The modified U-net removes all batch normalization layers and one of the convolution layers in each block. The operation reduces the number of parameters, and therefore accelerates the reconstruction. Compared with the existing image super-resolution algorithms, the proposed reconstruction method has better performance and time consumption. The experiments demonstrate that modified U-net network architecture with mixed gradient loss yields high-level results on three image datasets: SET14, BSD300, ICDAR2003. Code is available online.

研究动机与目标

• 解决现有SISR方法在重建锐利边缘和高梯度区域方面的局限性。
• 在不牺牲重建精度的前提下，降低模型复杂度和推理时间。
• 提升在自然场景和纹理丰富图像数据集上的性能表现。
• 开发一种轻量化、高效的架构，适用于实时应用。
• 在统一的损失函数中结合像素级精度（MSE）与结构保真度（梯度损失）

提出的方法

• 通过移除所有批量归一化层以及每层块中的一个卷积层，提出一种改进的U-Net架构，以减少参数量和计算量。
• 输入图像被直接上采样至更大尺度，且在相同尺度的对应块之间建立跳跃连接，以保留空间信息。
• 引入混合梯度误差（MixGE）损失，结合均方误差（MSE）与基于Sobel算子的加权均值梯度误差（MGE）。
• 在训练过程中端到端优化损失函数，以同时提升像素级精度和边缘锐度。
• 使用PyTorch在三个基准数据集（SET14、BSD300和ICDAR2003）上进行模型训练。
• 该模型命名为UnetSR+，代码已公开发布于GitHub。

实验结果

研究问题

• RQ1 通过减少组件的改进型U-Net架构是否能在计算成本更低的情况下实现更优的SISR性能？
• RQ2 将MSE与基于梯度的损失相结合，是否能相比仅使用MSE时显著改善边缘重建效果？
• RQ3 与最先进模型相比，该方法在纹理丰富的ICDAR2003数据集上的表现如何？
• RQ4 移除批量归一化层和冗余层后，是否能在减少模型大小的同时保持或提升性能？
• RQ5 在SISR任务中，模型复杂度、推理速度与重建精度之间存在何种权衡？

主要发现

• 在×2缩放下，所提出的UnetSR+在ICDAR2003数据集上实现了最高的PSNR（26.8546 dB）和SSIM（0.7554），优于所有其他方法。
• 在所有数据集和缩放比例上的平均表现中，UnetSR+相比SRGAN实现了10.76%的PSNR提升和11.73%的SSIM提升，尽管参数量仅多出30%。
• UnetSR+将模型参数量减少至DBPN的36%，同时PSNR提升2.25 dB，SSIM提升2.47%。
• 视觉结果表明，与ESPCN、DBPN和UnetSR相比，UnetSR+在重建精细细节和锐利边缘方面表现更优，尤其在ICDAR2003的文本丰富场景中。
• 该模型在自然场景（SET14、BSD300）和纹理密集型（ICDAR2003）数据集上均保持高性能，展现出跨领域的鲁棒性。
• 消融实验确认，移除批量归一化层及每块中的一个卷积层可有效减少参数量，且未导致性能下降。