[论文解读] Video Frame Interpolation without Temporal Priors

Youjian Zhang, Chaoyue Wang+1 more|arXiv (Cornell University)|Dec 2, 2021

Advanced Vision and Imaging被引用 4

一句话总结

该论文提出了一种无需依赖时间先验（如已知帧率或曝光时间）的视频帧插值方法。通过从四帧连续帧推导出通用的二次运动轨迹，并利用二阶残差网络恢复清晰的关键状态，该方法可在不同相机设置下实现精确插值，在无需微调的情况下于真实世界模糊视频上取得最先进性能。

ABSTRACT

Video frame interpolation, which aims to synthesize non-exist intermediate frames in a video sequence, is an important research topic in computer vision. Existing video frame interpolation methods have achieved remarkable results under specific assumptions, such as instant or known exposure time. However, in complicated real-world situations, the temporal priors of videos, i.e. frames per second (FPS) and frame exposure time, may vary from different camera sensors. When test videos are taken under different exposure settings from training ones, the interpolated frames will suffer significant misalignment problems. In this work, we solve the video frame interpolation problem in a general situation, where input frames can be acquired under uncertain exposure (and interval) time. Unlike previous methods that can only be applied to a specific temporal prior, we derive a general curvilinear motion trajectory formula from four consecutive sharp frames or two consecutive blurry frames without temporal priors. Moreover, utilizing constraints within adjacent motion trajectories, we devise a novel optical flow refinement strategy for better interpolation results. Finally, experiments demonstrate that one well-trained model is enough for synthesizing high-quality slow-motion videos under complicated real-world situations. Codes are available on https://github.com/yjzhang96/UTI-VFI.

研究动机与目标

• 解决在真实场景中时间先验（如帧率和曝光时间）未知或可变时的视频帧插值挑战。
• 克服现有方法依赖固定时间假设、在不同相机设置下表现不佳的局限性。
• 开发一种通用插值框架，可同时处理帧间与帧内运动模糊，且无需预先知晓快门速度或帧间隔。
• 使单一训练模型能泛化至多种曝光条件，避免针对不同相机配置重新训练。

提出的方法

• 该方法利用四帧连续帧推导出通用的曲线运动轨迹，无需假设已知的曝光时间或帧率。
• 提出一种二阶残差关键状态恢复网络，从模糊帧中恢复清晰的起始和结束状态，从而实现精确的运动估计。
• 在假设加速度恒定的前提下，采用二次函数建模运动，支持在不均匀时间间隔下进行插值。
• 提出一种新颖的光流优化策略，利用相邻运动轨迹之间的约束关系提升光流精度。
• 通过区分运动模糊与时间间隙，框架同时实现帧间与帧内插值。
• 模型在低帧率模糊视频上端到端训练，并能泛化至多种曝光设置，无需重新训练。

实验结果

研究问题

• RQ1 当不同相机的曝光时间与帧间隔未知或可变时，能否有效实现视频帧插值？
• RQ2 在缺乏帧率或快门速度等时间先验的条件下，如何准确建模运动轨迹？
• RQ3 单一模型在不重新训练的情况下，能在多大程度上泛化至多样化的曝光设置？
• RQ4 统一框架能否同时处理模糊视频序列中的帧间与帧内插值？
• RQ5 所提出的光流优化策略相较于标准光流估计，能在多大程度上提升插值质量？

主要发现

• 在GoPro-5-5基准测试中，该方法取得34.37的PSNR和0.9801的SSIM，相比基线模型PSNR提升1.95 dB。
• 消融实验表明，二阶残差网络相比一阶残差网络可将PSNR提升约1.5 dB。
• 光流优化模块相比无优化的模型可将PSNR提升0.6 dB，证明其有效性。
• 该模型在GoPro-7-3和GoPro-9-1基准上对不同曝光设置均表现出良好泛化能力，性能稳定。
• 关键状态恢复网络能有效从模糊帧中恢复清晰内容，即使在曝光可变条件下也能实现精确运动估计。
• 该方法在真实世界模糊视频数据集上实现最先进性能，且无需时间先验或针对不同相机配置重新训练。