[论文解读] Video Super-resolution with Temporal Group Attention

Takashi Isobe, Songjiang Li+7 more|arXiv (Cornell University)|Jul 21, 2020

Advanced Image Processing Techniques参考文献 35被引用 9

一句话总结

本文提出一种基于时间分组注意力（TGA）的视频超分方法，通过将输入帧按不同帧率分组，分层融合时空特征。模型采用注意力机制自适应聚合组间互补信息，并引入快速空间对齐（FSA）模块以处理大运动，从而在Vid4和Vimeo-90K-T基准上实现最先进性能。

ABSTRACT

Video super-resolution, which aims at producing a high-resolution video from its corresponding low-resolution version, has recently drawn increasing attention. In this work, we propose a novel method that can effectively incorporate temporal information in a hierarchical way. The input sequence is divided into several groups, with each one corresponding to a kind of frame rate. These groups provide complementary information to recover missing details in the reference frame, which is further integrated with an attention module and a deep intra-group fusion module. In addition, a fast spatial alignment is proposed to handle videos with large motion. Extensive results demonstrate the capability of the proposed model in handling videos with various motion. It achieves favorable performance against state-of-the-art methods on several benchmark datasets.

研究动机与目标

• 解决现有视频超分方法依赖不准确光流进行运动补偿的局限性。
• 通过分层的、帧率感知的分组策略，利用互补的时间信息改进帧间特征融合。
• 通过基于快速空间对齐（FSA）的方法，降低大运动视频中的计算成本与失真。
• 通过显式建模每组中参考帧的作用，提升细节恢复能力，从而增强超分性能。

提出的方法

• 将输入视频序列划分为多个组，每组代表不同的帧率，为参考帧提供互补的时间信息。
• 应用注意力模块，根据各组与参考帧的相关性，动态加权并整合来自不同组的特征。
• 使用3D密集块在组内进行特征融合，以提取组内局部时空表征。
• 通过2D密集块实现组间特征融合，聚合组间信息，增强长程时间建模能力。
• 提出一种基于单应变换的快速空间对齐（FSA）方法，在特征提取前预对齐帧，降低大运动引起的失真。
• 整个网络以端到端方式训练，以重建具有更高细节与时间一致性的高分辨率帧。

实验结果

研究问题

• RQ1 与均匀帧采样相比，按帧率分组视频帧是否能提升视频超分中缺失细节的恢复效果？
• RQ2 在每组中引入参考帧，是否能增强模型学习互补时间特征的能力？
• RQ3 在大运动条件下，基于单应变换的快速空间对齐方法是否在性能与效率上均优于基于光流的对齐方法？
• RQ4 所提出的时序分组注意力机制在整合多样化时间组特征方面，提升程度如何？
• RQ5 与标准3D卷积或DUF等动态滤波方法相比，分组特征的分层融合是否能带来更优性能？

主要发现

• 所提出的TGA模型在Vid4数据集上达到27.59 dB的PSNR与0.8419的SSIM，优于先前最先进方法。
• 在Vimeo-90K-T基准上，模型实现37.59 dB的PSNR与0.9516的SSIM，展现出最先进性能。
• 消融实验表明，将参考帧包含在每组中（如{345,246,147}）相比基线组{123,345,567}，PSNR提升0.41 dB。
• 移除分组注意力模块后，Vid4上性能下降0.2 dB，Vimeo-90K-T上下降0.15 dB，证实其重要性。
• FSA方法使Vimeo-90K-T上的PSNR从37.32 dB提升至37.59 dB，同时相比PyFlow将时间开销降低90%以上。
• 注意力图可视化显示，当某组被遮挡时，模型会自动将注意力转向其他组，证明其具备自适应信息借用能力。