[论文解读] Video Frame Interpolation via Adaptive Convolution

Simon Niklaus, Long Mai+1 more|arXiv (Cornell University)|Mar 22, 2017

Advanced Vision and Imaging参考文献 36被引用 33

一句话总结

本文提出了一种基于深度学习的视频帧插值方法，通过使用空间自适应卷积核，将运动估计与像素合成统一为单一的卷积过程。该方法不依赖光流，而是采用全卷积神经网络，从两帧输入图像中估计每个像素的卷积核，仅通过视频数据的端到端训练，即可在遮挡、模糊和亮度变化等情况下实现鲁棒的插值。

ABSTRACT

Video frame interpolation typically involves two steps: motion estimation and pixel synthesis. Such a two-step approach heavily depends on the quality of motion estimation. This paper presents a robust video frame interpolation method that combines these two steps into a single process. Specifically, our method considers pixel synthesis for the interpolated frame as local convolution over two input frames. The convolution kernel captures both the local motion between the input frames and the coefficients for pixel synthesis. Our method employs a deep fully convolutional neural network to estimate a spatially-adaptive convolution kernel for each pixel. This deep neural network can be directly trained end to end using widely available video data without any difficult-to-obtain ground-truth data like optical flow. Our experiments show that the formulation of video interpolation as a single convolution process allows our method to gracefully handle challenges like occlusion, blur, and abrupt brightness change and enables high-quality video frame interpolation.

研究动机与目标

• 解决传统两步帧插值方法依赖光流且对运动估计误差敏感的局限性。
• 克服视频插值中遮挡、模糊和亮度突变等挑战。
• 开发一个统一框架，将运动估计与像素合成整合为单一可微分过程。
• 仅使用广泛可用的视频数据实现端到端训练，避免对真实光流或其他难以获取的标注的依赖。
• 通过学习的空间自适应卷积核实现清晰、边缘感知的插值结果。

提出的方法

• 将视频帧插值建模为对两帧输入图像中对应图像块的局部卷积操作。
• 使用深度全卷积神经网络为每个输出像素估计一个空间自适应卷积核。
• 网络以每个像素在输入帧中的感受野图像块为中心作为输入，预测一个卷积核。
• 将预测的卷积核应用于输入图像块，通过卷积操作合成插值像素的颜色。
• 仅使用视频数据进行端到端训练，无需真实光流或其他监督信号。
• 采用移位与拼接的实现方式，支持并行处理并减少计算冗余。

实验结果

研究问题

• RQ1 是否可以不显式进行运动估计，而将视频帧插值有效统一为单一卷积过程？
• RQ2 深度神经网络能否学习到同时编码运动与合成系数的空间自适应卷积核？
• RQ3 该方法是否能在遮挡、模糊和亮度变化等挑战性条件下实现高质量插值？
• RQ4 是否可能仅使用视频数据实现网络的端到端训练，而无需光流或其他真实标注？
• RQ5 与基于光流或相位的插值方法相比，该方法在鲁棒性和视觉质量方面表现如何？

主要发现

• 所提方法通过将运动估计与像素合成统一为单一卷积过程，实现了高质量的视频帧插值。
• 与基于光流的方法相比，该方法在遮挡、模糊和亮度突变等复杂场景下表现更稳健。
• 网络学习到边缘感知的卷积核，尤其在图像边界处产生更清晰的结果。
• 仅使用视频数据进行端到端训练，其结果优于直接合成像素的基线网络。
• 该方法在清晰度方面优于Long等人基于光流的插值方法，尤其在边缘细节上表现更优。
• 该方法仅限于在两帧之间插值单帧，且无法处理超过卷积核尺寸（41×82）的运动，但在该范围内性能退化平缓。