[论文解读] Unsupervised Flow-Aligned Sequence-to-Sequence Learning for Video Restoration

Jing Lin, Xiaowan Hu+6 more|arXiv (Cornell University)|May 20, 2022

Advanced Vision and Imaging被引用 6

一句话总结

本文提出 S2SVR，一种用于视频恢复的无监督流对齐序列到序列模型，通过序列到序列学习建模视频帧之间的长时序依赖关系。通过将无监督光流估计器与一种新颖的蒸馏损失相结合，该方法实现了低质量与高质量帧之间的精确运动对齐，在视频去模糊、超分辨率和压缩视频增强任务中显著提升性能，且在长序列上取得了最先进结果。

ABSTRACT

How to properly model the inter-frame relation within the video sequence is an important but unsolved challenge for video restoration (VR). In this work, we propose an unsupervised flow-aligned sequence-to-sequence model (S2SVR) to address this problem. On the one hand, the sequence-to-sequence model, which has proven capable of sequence modeling in the field of natural language processing, is explored for the first time in VR. Optimized serialization modeling shows potential in capturing long-range dependencies among frames. On the other hand, we equip the sequence-to-sequence model with an unsupervised optical flow estimator to maximize its potential. The flow estimator is trained with our proposed unsupervised distillation loss, which can alleviate the data discrepancy and inaccurate degraded optical flow issues of previous flow-based methods. With reliable optical flow, we can establish accurate correspondence among multiple frames, narrowing the domain difference between 1D language and 2D misaligned frames and improving the potential of the sequence-to-sequence model. S2SVR shows superior performance in multiple VR tasks, including video deblurring, video super-resolution, and compressed video quality enhancement. Code and models are publicly available at https://github.com/linjing7/VR-Baseline

研究动机与目标

• 为在计算成本较低的前提下建模视频恢复（VR）中的长时序帧间依赖关系而提出。
• 弥合 1D 序列建模（NLP）与 2D 未对齐视频帧之间的域差距。
• 通过无监督方式训练光流估计器，以克服退化视频中的数据差异与光流不准确问题。
• 实现一种统一的、任务无关的框架，可广泛应用于去模糊、超分辨率和压缩视频增强等多种 VR 任务。

提出的方法

• 采用最初为 NLP 开发的序列到序列（seq2seq）架构，以建模视频序列中的时序依赖关系。
• 引入一种无监督光流估计器，通过一种新颖的蒸馏损失进行训练，利用高质量（HQ）光流作为伪标签，以提升低质量（LQ）光流估计的准确性。
• 利用估计的光流在帧间实现空间特征对齐，降低 2D 视频与 1D 序列建模之间的域差异。
• 通过基于光流的特征变形实现运动补偿，以保留运动细节并增强 seq2seq 框架中的表征学习。
• 采用自监督蒸馏损失，促使 LQ 光流模仿 HQ 光流，从而在无需真实光流监督的情况下提升对齐精度。
• 在真实世界视频恢复数据集上端到端训练整个模型，避免依赖合成光流数据集。

实验结果

研究问题

• RQ1 序列到序列学习能否被有效适配于视频恢复，以建模长时序依赖关系？
• RQ2 在缺乏真实光流监督的情况下，如何提升退化视频输入的光流估计性能？
• RQ3 能否通过将高质量光流无监督蒸馏到低质量光流中，提升运动对齐与恢复性能？
• RQ4 流对齐的 seq2seq 建模是否在多种视频恢复任务中优于现有方法，尤其是在长序列上？

主要发现

• S2SVR 在视频去模糊、超分辨率和压缩视频增强任务中均达到最先进性能，显著优于先前方法。
• 在 832×480 分辨率的 RaceHorses 数据集上，S2SVR 相较于先前最先进方法，ΔPSNR 提升至少 0.304 dB。
• 无监督光流估计器优于监督基线（如 RAFT）与自监督预训练方法，在 REDS4 数据集上实现 31.96 dB 的 PSNR。
• S2SVR 在长序列上表现更优：在 50 帧长度下，相比 EDVR 提升 0.57 dB，相比 EDVR-M 提升 0.52 dB。
• 消融实验证实，通过光流对齐实现的运动补偿显著改善了特征表征，表现为更清晰的显著性图与更少的模糊。
• 无监督蒸馏损失有效减少了数据差异并提升了光流精度，从而带来了优于仅使用 LQ 光流的恢复质量。