[论文解读] PP-MSVSR: Multi-Stage Video Super-Resolution

Lielin Jiang, Na Wang+3 more|arXiv (Cornell University)|Dec 6, 2021

Advanced Image Processing Techniques被引用 8

一句话总结

本文提出PP-MSVSR，一种多阶段视频超分辨率网络，通过局部特征融合模块、辅助损失和重对齐模块，增强帧间特征融合与对齐。该方法仅使用145万参数即实现SOTA性能，在Vid4数据集上达到28.13dB PSNR，并在REDS4上超越SOTA方法，且参数量更少。

ABSTRACT

Different from the Single Image Super-Resolution(SISR) task, the key for Video Super-Resolution(VSR) task is to make full use of complementary information across frames to reconstruct the high-resolution sequence. Since images from different frames with diverse motion and scene, accurately aligning multiple frames and effectively fusing different frames has always been the key research work of VSR tasks. To utilize rich complementary information of neighboring frames, in this paper, we propose a multi-stage VSR deep architecture, dubbed as PP-MSVSR, with local fusion module, auxiliary loss and re-align module to refine the enhanced result progressively. Specifically, in order to strengthen the fusion of features across frames in feature propagation, a local fusion module is designed in stage-1 to perform local feature fusion before feature propagation. Moreover, we introduce an auxiliary loss in stage-2 to make the features obtained by the propagation module reserve more correlated information connected to the HR space, and introduce a re-align module in stage-3 to make full use of the feature information of the previous stage. Extensive experiments substantiate that PP-MSVSR achieves a promising performance of Vid4 datasets, which achieves a PSNR of 28.13dB with only 1.45M parameters. And the PP-MSVSR-L exceeds all state of the art method on REDS4 datasets with considerable parameters. Code and models will be released in PaddleGAN\footnote{https://github.com/PaddlePaddle/PaddleGAN.}.

研究动机与目标

• 通过逐步优化帧间特征融合与对齐，提升视频超分辨率性能。
• 通过融合滑动窗口与循环VSR框架的优势，解决现有方法的局限性。
• 通过分阶段优化，在降低模型复杂度的同时保持或提升性能。
• 通过在特征传播过程中保留高分辨率相关特征，增强特征表示能力。

提出的方法

• 在第一阶段引入局部融合模块（LFM），在特征传播前执行早期特征融合，提升帧间特征对齐效果。
• 在第二阶段应用辅助损失，引导传播模块保留与高分辨率空间相关的特征，增强与HR空间的特征相关性。
• 在第三阶段提出重对齐模块（RAM），利用前序阶段的信息对特征进行精细化调整，提升对齐精度。
• 模型采用多阶段架构，将VSR流程分解为顺序阶段，实现输出的逐步优化。
• 框架结合滑动窗口与循环设计思想，在保持模型效率的同时利用时间上下文信息。
• 方法采用改进的SPYNet进行光流估计，并使用Charbonnier损失以提升训练稳定性。

实验结果

研究问题

• RQ1 多阶段架构是否能通过逐步优化特征融合与对齐，提升视频超分辨率性能？
• RQ2 在特征传播前引入局部融合模块，对帧间特征表示有何影响？
• RQ3 在传播阶段引入辅助损失，能在多大程度上保留与高分辨率相关的特征？
• RQ4 利用前序阶段特征的重对齐模块，是否能进一步提升对齐精度与重建质量？
• RQ5 结合滑动窗口与循环设计思想，是否能在参数更少的情况下实现更优性能？

主要发现

• PP-MSVSR在Vid4数据集上仅使用145万参数即达到28.13dB PSNR，显著优于现有方法且参数量更少。
• 在REDS4数据集上，PP-MSVSR的PSNR比EDVR-M高出0.7dB，同时参数量和FLOPs接近其一半。
• 与RRN相比，PP-MSVSR在Vid4上PSNR高出0.44dB，在UDM10上高出1.1dB，且参数量更少。
• PP-MSVSR-L变体在REDS4和Vid4数据集上均超越BasicVSR++，且参数量几乎相同。
• 消融实验表明，LFM、辅助损失与RAM三个组件均贡献显著，各自在PSNR上提升0.12dB、0.06dB与0.06dB。
• 该模型在Vid4、UDM10、Vimeo-90K-T与REDS4等数据集上均表现出强泛化能力，且在4×模糊下采样条件下性能稳定。