[论文解读] VideoINR: Learning Video Implicit Neural Representation for Continuous Space-Time Super-Resolution

Zeyuan Chen, Yinbo Chen+6 more|arXiv (Cornell University)|Jun 9, 2022

Advanced Image Processing Techniques被引用 6

一句话总结

VideoINR 提出了一种用于视频超分的连续时空隐式神经表示，实现了任意空间和时间的上采样。通过学习一个将三维坐标 (x, y, t) 映射到 RGB 值的神经函数，它在分布内尺度上实现了最先进性能，并在分布外分辨率和帧率上显著优于基线方法。

ABSTRACT

Videos typically record the streaming and continuous visual data as discrete consecutive frames. Since the storage cost is expensive for videos of high fidelity, most of them are stored in a relatively low resolution and frame rate. Recent works of Space-Time Video Super-Resolution (STVSR) are developed to incorporate temporal interpolation and spatial super-resolution in a unified framework. However, most of them only support a fixed up-sampling scale, which limits their flexibility and applications. In this work, instead of following the discrete representations, we propose Video Implicit Neural Representation (VideoINR), and we show its applications for STVSR. The learned implicit neural representation can be decoded to videos of arbitrary spatial resolution and frame rate. We show that VideoINR achieves competitive performances with state-of-the-art STVSR methods on common up-sampling scales and significantly outperforms prior works on continuous and out-of-training-distribution scales. Our project page is at http://zeyuan-chen.com/VideoINR/ .

研究动机与目标

• 解决现有时空视频超分（STVSR）方法中固定上采样尺度的局限性。
• 从低分辨率、低帧率输入中实现连续的、任意分辨率和帧率的视频重建。
• 通过隐式神经表示提升对分布外空间和时间尺度的泛化能力。
• 开发一个端到端可微分框架，联合学习空间和时间特征，仅依赖重建损失作为监督。

提出的方法

• 将视频表示为隐式神经函数：f(x, y, t) → [R, G, B]，其中输入为连续的三维时空坐标。
• 使用编码器从两帧低分辨率输入生成特征图，作为潜在表示。
• 应用空间隐式神经表示（SpatialINR）从编码特征图中采样高分辨率特征。
• 学习时间隐式神经表示（TemporalINR），输出用于特征扭曲的运动场。
• 使用预测的运动场对高分辨率特征进行空间扭曲，在解码前对齐至目标帧。
• 仅使用重建损失进行端到端训练，实现空间与时间建模的联合优化。

实验结果

研究问题

• RQ1 隐式神经表示能否实现连续的、任意分辨率和帧率的视频超分？
• RQ2 与固定尺度的 STVSR 方法相比，VideoINR 在分布外空间和时间尺度上的泛化能力如何？
• RQ3 通过神经函数隐式学习运动场对插值质量和泛化能力有何影响？
• RQ4 与统一网络相比，多尺度特征聚合以及对空间和时间的独立建模是否能提升性能？
• RQ5 模型能否仅高效解码特定区域或时间区间，而无需完整重建？

主要发现

• 在 GOPRO 数据集上，VideoINR 在 ×4 空间上采样时达到竞争性 PSNR（29.61）和 SSIM（0.8734），与最先进 STVSR 方法相当。
• 在分布外尺度上，VideoINR 显著优于基线：在 ×12 空间尺度下 PSNR 为 24.11（SSIM 0.6913），而 VideoINR（×4 固定训练）仅为 23.82（SSIM 0.6857）。
• 从零开始训练连续空间尺度（VideoINR -continuous）导致性能下降（×2 时 PSNR 为 27.46），表明在固定尺度上预训练具有优势。
• 消融实验表明，移除运动场（VideoINR -f）会降低性能，证实其在建模大运动和时间上下文中的关键作用。
• 多尺度特征聚合（VideoINR -m）和空间与时间分量的独立建模（VideoINR -s）均提升结果，表明架构设计的优势。
• 定性结果表明，模型在分布内和分布外时间坐标下均表现出稳定性能，能在其他方法失效时一致恢复细节。