[论文解读] Super-Resolution using Convolutional Neural Networks without Any Checkerboard Artifacts

Yusuke Sugawara, Sayaka Shiota+1 more|arXiv (Cornell University)|Jun 7, 2018

Advanced Image Processing Techniques参考文献 20被引用 6

一句话总结

本文提出了一种新条件，用于消除使用转置卷积和亚像素卷积等上采样层的卷积神经网络（CNN）超分辨率（SR）方法中的棋盘纹 artifacts。通过将线性多速率系统的多相滤波条件扩展至非线性 CNN，该方法确保所有多相分量具有相等的直流响应，从而在均方误差和感知损失下均能实现完美的伪影抑制，同时保持高效率和图像质量。

ABSTRACT

It is well-known that a number of excellent super-resolution (SR) methods using convolutional neural networks (CNNs) generate checkerboard artifacts. A condition to avoid the checkerboard artifacts is proposed in this paper. So far, checkerboard artifacts have been mainly studied for linear multirate systems, but the condition to avoid checkerboard artifacts can not be applied to CNNs due to the non-linearity of CNNs. We extend the avoiding condition for CNNs, and apply the proposed structure to some typical SR methods to confirm the effectiveness of the new scheme. Experiment results demonstrate that the proposed structure can perfectly avoid to generate checkerboard artifacts under two loss conditions: mean square error and perceptual loss, while keeping excellent properties that the SR methods have.

研究动机与目标

• 解决使用转置卷积和亚像素卷积层的基于 CNN 的超分辨率方法中长期存在的棋盘纹伪影问题。
• 将此前仅适用于线性多速率系统的避免棋盘纹伪影的理论条件，扩展至非线性 CNN。
• 开发一种实用、高效且普适的方法，在消除伪影的同时保持现有 SR 网络的性能。
• 在均方误差和感知损失下验证该方法的有效性，这两种损失函数在最先进模型中常会诱发伪影。

提出的方法

• 通过确保上采样层所有多相分量具有相等的直流响应，将线性系统中的多相滤波条件 $ R_1(1) = R_2(1) = \cdots = R_U(1) = G $ 扩展至非线性 CNN。
• 通过修改滤波器初始化或结构，将该条件应用于转置卷积和亚像素卷积层，以在所有多相分量间强制实现均匀的直流增益。
• 提出两种应用该条件的方法（A/B 和 C）：一种使用可学习的 $ H_0(z) $ 滤波器，另一种使用固定的 $ H_0(z) $，两者均确保 $ H(z) = P(z)H_0(z) $ 且 $ H_0(z) = \sum_{i=0}^{U-1} z^{-i} $。
• 采用改进的网络架构，使上采样层满足扩展后的条件，从而防止引起棋盘纹模式的时间变异性行为。
• 使用标准训练流程，结合 Adam 优化器以及 MSE 和感知损失（通过 VGG-16 特征提取），以评估方法的鲁棒性与视觉质量。
• 在标准数据集（Set14, DIV2K）上验证该方法，使用 $ 72\times72 $ 的高分辨率和 $ 18\times18 $ 的低分辨率图像块，上采样因子 $ U=4 $。

实验结果

研究问题

• RQ1 线性多速率系统中避免棋盘纹伪影的理论条件能否扩展至具有上采样层的非线性 CNN？
• RQ2 在上采样层中强制所有多相分量具有相等的直流响应，是否能消除基于 CNN 的 SR 网络中的棋盘纹伪影？
• RQ3 所提方法是否能在均方误差和感知损失下均抑制伪影，而这两类损失函数在最先进模型中常会诱发伪影？
• RQ4 与现有伪影抑制技术相比，该方法是否在保持高图像质量与计算效率方面表现更优？
• RQ5 该方法是否适用于并有效于基于转置卷积和亚像素卷积的 SR 网络？

主要发现

• 所提方法在均方误差和感知损失下，均成功消除了基于转置卷积和亚像素卷积的 SR 网络中的棋盘纹伪影。
• 即使在感知损失下，通常会加剧伪影，方法 B 和 C（使用 $ H_0 $）在视觉质量与伪影抑制方面仍优于方法 A。
• 该方法保持了高图像质量，视觉对比显示感知质量与清晰度均有提升，且无需后处理。
• 所提结构（Deconv+H₀ 和 Sub-pixel+H₀）的执行时间显著低于插值卷积（例如，$ 128\times128 $ 输入下分别为 0.0295 秒 vs. 0.299 秒），计算效率高。
• 该方法在不同输入分辨率和数据集上均表现鲁棒，伪影抑制一致，且 PSNR 和感知质量无下降。
• 所提方法实现了高效、无伪影的超分辨率，无需高内存或计算开销，优于基于插值卷积的替代方案。