[论文解读] Recurrent Back-Projection Network for Video Super-Resolution

Muhammad Haris, Greg Shakhnarovich+1 more|arXiv (Cornell University)|Mar 25, 2019

Advanced Image Processing Techniques参考文献 32被引用 11

一句话总结

本文提出了一种新型视频超分辨率框架——循环反向投影网络（RBPN），通过使用循环编码器-解码器模块，结合迭代反向投影机制，将单图像与多帧超分辨率统一整合。通过独立处理每个上下文帧，并利用上采样与下采样循环迭代优化高分辨率特征，RBPN在多个基准测试中实现了最先进性能，在不同运动模式下均优于以往方法，PSNR与SSIM指标表现更优。

ABSTRACT

We proposed a novel architecture for the problem of video super-resolution. We integrate spatial and temporal contexts from continuous video frames using a recurrent encoder-decoder module, that fuses multi-frame information with the more traditional, single frame super-resolution path for the target frame. In contrast to most prior work where frames are pooled together by stacking or warping, our model, the Recurrent Back-Projection Network (RBPN) treats each context frame as a separate source of information. These sources are combined in an iterative refinement framework inspired by the idea of back-projection in multiple-image super-resolution. This is aided by explicitly representing estimated inter-frame motion with respect to the target, rather than explicitly aligning frames. We propose a new video super-resolution benchmark, allowing evaluation at a larger scale and considering videos in different motion regimes. Experimental results demonstrate that our RBPN is superior to existing methods on several datasets.

研究动机与目标

• 解决现有视频超分辨率方法在建模多样化运动模式与精确时序对齐方面存在的局限性。
• 通过统一的循环架构，将单图像与多帧超分辨率统一建模，以更好地利用空间与时间上下文信息。
• 通过残差特征优化隐式建模帧间运动，而非显式帧对齐，从而提升重建质量。
• 建立一个新基准（Vimeo-90k），用于评估在多样化运动条件下的视频超分辨率性能。

提出的方法

• RBPN采用循环编码器-解码器模块，将目标帧与配对上下文帧（I_t 和 I_{t-k}）的残差特征在联合、迭代优化循环中进行处理。
• 网络采用受多图像超分辨率启发的反向投影机制，将重建帧与真实帧之间的残差误差逐轮反向投影，以优化高分辨率特征。
• 将单图像超分辨率（SISR）路径（仅处理目标帧）与多帧超分辨率（MISR）路径（处理上下文帧）分离，实现对不同来源特征的独立建模。
• 通过上采样与下采样层，将上下文帧的残差特征与目标帧特征进行循环优化融合，以保留精细细节。
• 显式建模相对于目标帧的帧间运动，无需精确的空间对齐，从而降低对齐误差风险。
• 引入一个新基准Vimeo-90k，用于评估在包含快速与慢速运动序列等多样化运动类型下的性能表现。

Figure 2: Overview of RBPN. The network has two approaches. The horizontal blue line enlarges $I_{t}$ using SISR. The vertical red line is based on MISR to compute the residual features from a pair of $I_{t}$ to neighbor frames ( $I_{t-1},...,I_{t-n}$ ) and the precomputed dense motion flow maps ( $

实验结果

研究问题

• RQ1 循环反向投影机制是否能通过多帧迭代优化高分辨率特征，从而提升视频超分辨率性能？
• RQ2 在复杂运动场景中，独立建模上下文帧而非联合建模，是否能提升性能？
• RQ3 通过循环优化框架整合SISR与MISR路径，是否能实现比现有端到端视频SR模型更优的重建质量？
• RQ4 与先前方法相比，RBPN在多样化运动模式下的表现如何，特别是在具有快速或非规则运动的挑战性序列中？

主要发现

• RBPN在Vid4与SPMCS数据集上达到最先进性能，在SPMCS-32上实现31.64 dB的PSNR与0.883的SSIM，优于先前方法。
• 在Vimeo-90k基准上，RBPN/6-PF在4×缩放下实现30.10 dB的PSNR，显著优于VSR-DUF（29.42 dB）与DRDVSR（28.82 dB）。
• RBPN/6-PF在高运动区域生成的图像比Bicubic与DBPN更清晰、视觉效果更佳，如定性对比所示。
• 消融实验表明，在当前超参数设置下，残差学习对RBPN性能无提升，表明主信号已由主网络路径充分捕获。
• RBPN仅需1270万参数与2.475 GFLOPs（4×超分辨率），在保持高精度的同时实现高效推理。
• 该模型在各类运动模式下表现出强鲁棒性，尤其在包含复杂多变运动模式的Vimeo-90k数据集中表现优异，该数据集未被先前基准覆盖。

Figure 3: The proposed projection module. The target features ( $L_{t-n-1}$ ) is projected to neighbor features ( $M_{t-n}$ ) to construct better HR features ( $H_{t-n}$ ) and produce next LR features ( $L_{t-n}$ ) for the next step.