[论文解读] Wide Activation for Efficient and Accurate Image Super-Resolution

Jiahui Yu, Yuchen Fan+5 more|arXiv (Cornell University)|Aug 27, 2018

Advanced Image Processing Techniques参考文献 8被引用 324

一句话总结

本文表明，在 SR 残差块中在 ReLU 之前扩展特征通道（WDSR-A 和 WDSR-B）可在相同的参数/计算预算下获得更高的准确性，线性低秩卷积使激活更宽，且权重归一化在性能上优于批量归一化或无归一化的设置。

ABSTRACT

In this report we demonstrate that with same parameters and computational budgets, models with wider features before ReLU activation have significantly better performance for single image super-resolution (SISR). The resulted SR residual network has a slim identity mapping pathway with wider (\(2 imes\) to \(4 imes\)) channels before activation in each residual block. To further widen activation (\(6 imes\) to \(9 imes\)) without computational overhead, we introduce linear low-rank convolution into SR networks and achieve even better accuracy-efficiency tradeoffs. In addition, compared with batch normalization or no normalization, we find training with weight normalization leads to better accuracy for deep super-resolution networks. Our proposed SR network extit{WDSR} achieves better results on large-scale DIV2K image super-resolution benchmark in terms of PSNR with same or lower computational complexity. Based on WDSR, our method also won 1st places in NTIRE 2018 Challenge on Single Image Super-Resolution in all three realistic tracks. Experiments and ablation studies support the importance of wide activation for image super-resolution. Code is released at: https://github.com/JiahuiYu/wdsr_ntire2018

研究动机与目标

• 证明在 ReLU 之前的更宽激活能够在不增加参数或 FLOPs 的情况下提升 SR 性能。
• 提出 WDSR-A（宽激活）和 WDSR-B（带线性低秩卷积的宽激活），以实现更好的准确性-效率。
• 表明权重归一化比批量归一化或无归一化在收敛速度和准确性方面更优秀。
• 在 DIV2K 上进行评估并在各条线取得优异结果及 NTIRE 2018 的多项冠军。

提出的方法

• 在 SR 残差块中通过在 ReLU 之前扩展特征来引入更宽的激活。
• 在保持恒等映射通路宽度的同时，增大前激活宽度以形成 WDSR-A。
• 开发 WDSR-B，使用线性低秩卷积在不增加额外成本的情况下进一步扩展激活。
• 在相同的参数/计算预算下与 EDSR 进行比较，以隔离宽度的影响。
• 提倡在训练深层 SR 网络时使用权重归一化代替批量归一化，并展示更快的收敛。

实验结果

研究问题

• RQ1 在固定的参数和计算预算下，在 SR 残差块中在 ReLU 之前扩展特征是否能提高准确性？
• RQ2 在使用线性低秩卷积扩大激活时，效率能否保持或提高？
• RQ3 在训练深层 SR 网络时，权重归一化是否比批量归一化更合适？
• RQ4 相较于像 EDSR 这样的基线，WDSR-A 和 WDSR-B 在标准 SR 基准测试（如 DIV2K）能取得哪些提升？

主要发现

• WDSR-A（2x–4x 更宽的激活）在相同预算下提升了 DIV2K 验证集 PSNR 相对于 EDSR。
• WDSR-B（6x–9x 更宽的激活）使用线性低秩卷积在不增加额外参数或 FLOPs 的情况下进一步扩展激活，并带来更高的收益。
• 在 DIV2K 上，WDSR 变体在等效参数数量下实现比相应 EDSR 基线更高的 PSNR（示例结果在 1-residual-block 设置中显示 EDSR 为 33.210，WDSR-B 为 33.434 PSNR）。
• 权重归一化加速收敛并提升准确性，而批量归一化在 SR 任务的测试阶段会导致不稳定。