[论文解读] Video Super Resolution Based on Deep Learning: A Comprehensive Survey

Hongying Liu, Zhubo Ruan+6 more|arXiv (Cornell University)|Jul 25, 2020

Advanced Image Processing Techniques被引用 40

一句话总结

本文综述了基于深度学习的 37 种视频超分辨率（VSR）方法，提出按帧间信息使用的分类法，并分析架构、对齐与基准，总结进展与挑战。

ABSTRACT

In recent years, deep learning has made great progress in many fields such as image recognition, natural language processing, speech recognition and video super-resolution. In this survey, we comprehensively investigate 33 state-of-the-art video super-resolution (VSR) methods based on deep learning. It is well known that the leverage of information within video frames is important for video super-resolution. Thus we propose a taxonomy and classify the methods into six sub-categories according to the ways of utilizing inter-frame information. Moreover, the architectures and implementation details of all the methods are depicted in detail. Finally, we summarize and compare the performance of the representative VSR method on some benchmark datasets. We also discuss some challenges, which need to be further addressed by researchers in the community of VSR. To the best of our knowledge, this work is the first systematic review on VSR tasks, and it is expected to make a contribution to the development of recent studies in this area and potentially deepen our understanding to the VSR techniques based on deep learning.

研究动机与目标

• 对基于深度学习的视频超分辨率（VSR）方法进行全面综述。
• 提出一种分类法，按方法如何利用帧间信息对VSR方法进行分类。
• 总结架构、实现细节及在基准数据集上的性能。
• 讨论实际应用和当前挑战，以指导未来的研究。

提出的方法

• 基于深度学习的37种最前沿VSR方法进行调研。
• 提出一种分类法，将方法分为对齐和非对齐两类。
• 描述关键方法的代表性架构与训练损失函数。
• 比较公开基准和数据集（例如 Vid4、UVGD、REDS）上的性能趋势。
• 讨论应用与挑战，以为未来的研究方向提供信息。

实验结果

研究问题

• RQ1 基于深度学习的VSR方法如何利用帧间信息来改进重建？
• RQ2 在VSR中主要的体系结构范式（对齐 vs. 非对齐）及其权衡是什么？
• RQ3 最先进的VSR方法的常见损失函数、数据需求和基准性能是什么？
• RQ4 哪些实际考量和挑战塑造了VSR技术的发展？
• RQ5 在感受野和时序建模方面，该领域如何演变？

主要发现

• VSR方法正从以对齐为中心多样化发展为大量非对齐方法。
• 感受野通过更长的序列和非局部交互从局部扩展到全局。
• 基于MEMC的方法越来越依赖深度学习的光流估计来实现对齐。
• 对齐与非对齐方法都能在基准测试上实现具有竞争力的性能。
• 近期方法强调实用性，处理 Vid4/UVGD 发展到 REDS 的数据集上的复杂运动和场景变化。