[论文解读] Real-Time Intermediate Flow Estimation for Video Frame Interpolation

Zhewei Huang, Tianyuan Zhang+3 more|arXiv (Cornell University)|Nov 12, 2020

Advanced Vision and Imaging被引用 23

一句话总结

本文提出 RIFE，一种实时视频帧插值方法，采用端到端可训练的神经网络 IFNet，直接估计中间光流，无需依赖预训练的光流模型。通过采用特权蒸馏方案以及使用 $3\times3$ 卷积的轻量级 IFBlocks，RIFE 在推理速度上比 SuperSlomo 和 DAIN 快 4–27 倍，同时支持通过时间编码实现任意时间步插值，达到最先进性能。

ABSTRACT

Real-time video frame interpolation (VFI) is very useful in video processing, media players, and display devices. We propose RIFE, a Real-time Intermediate Flow Estimation algorithm for VFI. To realize a high-quality flow-based VFI method, RIFE uses a neural network named IFNet that can estimate the intermediate flows end-to-end with much faster speed. A privileged distillation scheme is designed for stable IFNet training and improve the overall performance. RIFE does not rely on pre-trained optical flow models and can support arbitrary-timestep frame interpolation with the temporal encoding input. Experiments demonstrate that RIFE achieves state-of-the-art performance on several public benchmarks. Compared with the popular SuperSlomo and DAIN methods, RIFE is 4--27 times faster and produces better results. Furthermore, RIFE can be extended to wider applications thanks to temporal encoding. The code is available at https://github.com/megvii-research/ECCV2022-RIFE.

研究动机与目标

• 解决媒体播放器、显示设备和视频流应用中实时、高质量视频帧插值的挑战。
• 克服在中间光流估计中因光流反转和预训练光流模型带来的局限性，尤其是在运动边界和物体位移方面。
• 开发一种轻量级、端到端可训练的框架，避免依赖深度模型或优化网络等外部组件。
• 通过时间编码输入实现任意时间步帧插值，突破仅限于二元插值的应用限制。
• 通过特权蒸馏方案提升训练稳定性和性能，该方案利用可访问真实中间帧的教师模型指导学生模型（IFNet）训练。

提出的方法

• 提出 IFNet，一种从粗到精的神经网络，通过由 $3\times3$ 卷积和转置卷积构成的轻量级 IFBlocks 迭代优化中间光流场与软融合掩码。
• 设计一种特权蒸馏方案，其中教师模型在训练期间利用真实中间帧指导学生模型（IFNet），以提升光流估计的准确性。
• 引入时间编码作为额外输入，以支持任意时间步插值，实现输入帧之间任意所需时间步的插值。
• 采用重建损失与蒸馏中间监督相结合的方式端到端训练 IFNet，避免仅依赖像素级损失。
• 采用简化架构，不使用如代价体积或光流优化模块等计算成本高的操作，提升在资源受限设备上的效率。
• 采用 $L_{Lap}$ 损失以提升感知质量，相比 $\mathcal{L}_1$ 损失，显著改善了定量与定性结果。

实验结果

研究问题

• RQ1 能否通过轻量级、端到端可训练的神经网络直接估计中间光流，而无需依赖预训练光流模型或其他附加组件进行视频帧插值？
• RQ2 与仅使用重建损失的标准训练相比，采用教师模型利用真实中间帧指导学生的特权蒸馏方案在性能上有多显著？
• RQ3 所提出的 IFNet 架构（采用 $3\times3$ 卷积与从粗到精的优化）在速度与准确率方面，相较于现有光流反转与优化方法表现如何？
• RQ4 通过引入时间编码，该方法能否泛化至任意时间步插值？与需要固定插值步长的方法相比表现如何？
• RQ5 批量归一化与损失函数等架构选择对模型性能与推理效率有何影响？

主要发现

• RIFE 在 Vimeo90K 和 HD-4× 基准测试中达到最先进性能，在 Vimeo90K 上 PSNR 达 35.61，LPIPS 为 1.96，优于 SuperSlomo 和 DAIN。
• RIFE 比 SuperSlomo 和 DAIN 快 4–27 倍，高分辨率视频下推理时间低至 16ms，支持实时部署。
• 特权蒸馏方案显著提升训练稳定性和性能，消融实验表明，若移除该方案将导致训练发散且性能下降。
• 将 IFNet 替换为基于 RAFT 或 PWC-Net 的光流反转方法会导致性能下降，原因在于难以处理运动边界处的物体位移。
• 使用 $L_{Lap}$ 损失替代 $\mathcal{L}_1$ 损失可获得更优的定量结果，表明帧插值的感知质量得到提升。
• 该模型可扩展用于其他表示形式（如单目深度图）的插值，方法基于相同的光流与融合图，如使用 MiDaS 的深度插值所示。