[论文解读] Residual Feature Distillation Network for Lightweight Image Super-Resolution

Jie Liu, Jie Tang+1 more|arXiv (Cornell University)|Sep 24, 2020

Advanced Image Processing Techniques参考文献 30被引用 32

一句话总结

本文提出 RFDN，一种采用特征蒸馏连接和浅层残差块的轻量级单图像超分辨率模型，在性能与模型大小之间达到最优平衡，且增强版本在 AIM 2020 中获胜。

ABSTRACT

Recent advances in single image super-resolution (SISR) explored the power of convolutional neural network (CNN) to achieve a better performance. Despite the great success of CNN-based methods, it is not easy to apply these methods to edge devices due to the requirement of heavy computation. To solve this problem, various fast and lightweight CNN models have been proposed. The information distillation network is one of the state-of-the-art methods, which adopts the channel splitting operation to extract distilled features. However, it is not clear enough how this operation helps in the design of efficient SISR models. In this paper, we propose the feature distillation connection (FDC) that is functionally equivalent to the channel splitting operation while being more lightweight and flexible. Thanks to FDC, we can rethink the information multi-distillation network (IMDN) and propose a lightweight and accurate SISR model called residual feature distillation network (RFDN). RFDN uses multiple feature distillation connections to learn more discriminative feature representations. We also propose a shallow residual block (SRB) as the main building block of RFDN so that the network can benefit most from residual learning while still being lightweight enough. Extensive experimental results show that the proposed RFDN achieve a better trade-off against the state-of-the-art methods in terms of performance and model complexity. Moreover, we propose an enhanced RFDN (E-RFDN) and won the first place in the AIM 2020 efficient super-resolution challenge. Code will be available at https://github.com/njulj/RFDN.

研究动机与目标

• 推动边缘设备上的快速而高精度的单图像超分辨率。
• 重新研究信息蒸馏，以设计轻量级的构建块。
• 提出特征蒸馏连接（FDC），作为通道分割的轻量化替代方案。
• 引入浅层残差块（SRB）以在不增加额外参数的情况下增强残差学习。
• 展示 RFDN 和增强版 RFDN（E-RFDN 在少量参数下实现强劲的超分性能。）

提出的方法

• 提出特征蒸馏连接（FDC），等同于通道分割但更轻量和灵活。
• 通过将蒸馏与精 refinement 操作解耦为 DL（distilled features）与 RL（refinement）层，重新设计 IMDB。
• 在蒸馏路径中将 3x3 通道降维卷积替换为 1x1 卷积，同时为空间 refined 保留 3x3 内核（RFDB）。
• 引入一个带有单个 3x3 卷积和恒等跳跃的浅层残差块（SRB），在不增加额外参数的情况下利用残差学习。
• 堆叠多个 RFDB，并在最后进行融合（1x1 卷积后接 3x3 卷积）以及使用子像素上采样的重建块。
• 在 DIV2K 上使用 L1 损失训练，在 Set5、Set14、BSD100、Urban100、Manga109 上评估，尺度为 ×2、×3、×4。

实验结果

研究问题

• RQ1 基于轻量化蒸馏设计的模型是否能够以更少的参数超越现有的轻量级 SR 模型？
• RQ2 用基于 1x1 的蒸馏路径（FDC）取代通道分割是否提高了灵活性与效率？
• RQ3 浅层残差块（SRB）在不增加参数的情况下是否提升了超分性能？
• RQ4 提出的基于 RFDB 的架构在 PSNR/SSIM 与复杂度方面与 IMDN 及其他最先进的轻量级 SR 模型相比如何？
• RQ5 增强版（E-RFDN）是否能够在以效率为重点的 SR 挑战中获胜？

主要发现

• RFDN 以显著更少的参数实现了比多数轻量级 SR 模型更有利的 PSNR/SSIM 平衡。
• 在消融研究中，SRB 在不增加参数的情况下带来可衡量的增益，而 FDC 相对于基线实现了显著提升。
• 采用 FDC 和 SRB 的 RFDB 在性能和参数效率方面均超越基线的基于 IMDB 的设计。
• RFDN/M 变体在参数更少（约 534K–550K）的情况下达到与 IMDN 相竞争甚至更优的结果。
• 增强 RFDN (E-RFDN) 在 AIM 2020 高效超分辨挑战赛中获得第一名，展示了强大的效率和性能提升。