[论文解读] Perceptual Video Super Resolution with Enhanced Temporal Consistency

Eduardo Pérez-Pellitero, Mehdi S. M. Sajjadi+2 more|arXiv (Cornell University)|Jul 20, 2018

Advanced Image Processing Techniques参考文献 37被引用 4

一句话总结

本文提出一种带有视频判别器和新颖时间一致性损失的循环生成对抗网络，用于感知视频超分辨率，通过利用循环特征传播和多帧变形，实现了在感知质量方面达到最先进水平，并减少了闪烁现象。

ABSTRACT

With the advent of perceptual loss functions, new possibilities in super-resolution have emerged, and we currently have models that successfully generate near-photorealistic high-resolution images from their low-resolution observations. Up to now, however, such approaches have been exclusively limited to single image super-resolution. The application of perceptual loss functions on video processing still entails several challenges, mostly related to the lack of temporal consistency of the generated images, i.e., flickering artifacts. In this work, we present a novel adversarial recurrent network for video upscaling that is able to produce realistic textures in a temporally consistent way. The proposed architecture naturally leverages information from previous frames due to its recurrent architecture, i.e. the input to the generator is composed of the low-resolution image and, additionally, the warped output of the network at the previous step. Together with a video discriminator, we also propose additional loss functions to further reinforce temporal consistency in the generated sequences. The experimental validation of our algorithm shows the effectiveness of our approach which obtains images with high perceptual quality and improved temporal consistency.

研究动机与目标

• 解决感知视频超分辨率中因感知损失导致的时间不一致问题，即闪烁伪影。
• 将单图超分辨率中感知损失函数的成功应用扩展至视频超分辨率，该领域仍研究不足。
• 通过确保帧间高频细节的一致性，同时保持逼真纹理，提升视频质量。
• 克服滑动窗口方法忽略先前超分帧的局限性，从而导致时间不一致。
• 开发一种通过专用损失函数和循环结构显式强制时间一致性的训练框架。

提出的方法

• 采用循环生成器，同时输入当前低分辨率帧和经过变形的先前高分辨率输出，以实现对先前结果的记忆。
• 引入视频判别器，评估连续帧之间的时空一致性，促进真实运动和一致性。
• 在处理前对相邻帧进行多图像变形，使其与当前帧对齐，从而改善特征对齐并减少运动伪影。
• 设计两种新颖损失项：静态损失（$\mathcal{L}_{T_d}$）以最小化静止区域的闪烁，以及方差距离损失（$\mathcal{L}_{T_s}$）以减少像素统计随时间的变化。
• 使用组合损失优化模型，结合感知损失（$\mathcal{L}_c$）、对抗损失（$\mathcal{L}_A$）以及两种时间一致性损失。
• 使用预训练的特征提取器（如VGG或AlexNet）计算感知损失，并增加一个线性校准层以改善对齐效果。

实验结果

研究问题

• RQ1 能否在不引入时间闪烁的情况下，将单图超分辨率中使用的感知损失函数成功扩展到视频超分辨率？
• RQ2 在视频超分辨率中，引入对先前帧的记忆机制在多大程度上提升了时间一致性？
• RQ3 专用时间一致性损失（$\mathcal{L}_{T_d}$ 和 $\mathcal{L}_{T_s}$）在多大程度上减少了闪烁并提升了生成视频序列的感知质量？
• RQ4 与现有的基于GAN和MSE优化的VSR模型相比，所提方法在感知质量和时间稳定性方面表现如何？
• RQ5 结合视频判别器和循环结构是否优于非循环的滑动窗口方法，在长期时间一致性保持方面表现更优？

主要发现

• 所提方法在vid4和seq12数据集上取得了最先进的LPIPS和NIQE得分，表明其具有更优的感知质量并减少了失真。
• 在所有感知方法中，使用$\mathcal{L}_c$训练的模型在vid4和seq12数据集上均取得了最佳LPIPS得分，优于SRGAN和Enhancenet。
• 即使未直接优化时间损失，带有视频判别器的循环结构也显著提升了时间一致性，优于非循环模型如SRGAN。
• 消融实验表明，$\mathcal{L}_{T_d}$对时间一致性的提升作用强于$\mathcal{L}_{T_s}$，且将两者与$\mathcal{L}_A$结合可获得最佳整体性能。
• 使用$\mathcal{L}_c$损失的模型在所有指标（包括变形误差PSNR和tLPIPS）上均表现出最高时间一致性，证明了完整损失公式的有效性。
• 定性分析表明，尽管SRGAN和Enhancenet能生成精细纹理，但常引入过度锐化和不合理的图案，而所提方法有效缓解了这些问题。