[论文解读] Video Frame Interpolation by Plug-and-Play Deep Locally Linear Embedding

Duc Chien Nguyen, Woojae Kim+2 more|arXiv (Cornell University)|Jul 4, 2018

Advanced Vision and Imaging参考文献 23被引用 5

一句话总结

本文提出深度局部线性嵌入（DeepLLE），一种即插即用的无监督视频帧插值方法，通过深度自编码卷积神经网络在潜在空间中嵌入线性特性，实现在无需预训练的情况下对任意数量的输入帧之间进行高质量帧插值。该方法在感知质量和PSNR/SSIM指标上达到当前最先进水平，在关键基准测试中优于现有深度学习模型，且无需微调或大规模数据。

ABSTRACT

We propose a generative framework which takes on the video frame interpolation problem. Our framework, which we call Deep Locally Linear Embedding (DeepLLE), is powered by a deep convolutional neural network (CNN) while it can be used instantly like conventional models. DeepLLE fits an auto-encoding CNN to a set of several consecutive frames and embeds a linearity constraint on the latent codes so that new frames can be generated by interpolating new latent codes. Different from the current deep learning paradigm which requires training on large datasets, DeepLLE works in a plug-and-play and unsupervised manner, and is able to generate an arbitrary number of frames. Thorough experiments demonstrate that without bells and whistles, our method is highly competitive among current state-of-the-art models.

研究动机与目标

• 解决基于深度学习的帧插值方法依赖大规模训练和微调的问题。
• 弥合传统即时即用型插值方法与性能更优的现代深度学习模型之间的差距。
• 在单次推理中实现任意数量输入帧之间的任意帧数插值。
• 探索在无需依赖光流或图像变形的情况下，通过显式线性约束学习潜在表征用于视频生成的可行性。
• 证明深度卷积神经网络能够捕捉适合无监督、即插即用视频生成的丰富视频统计特性。

提出的方法

• 训练一个深度自编码卷积神经网络，将连续的视频帧编码到低维潜在空间。
• 在连续帧的潜在码上施加显式线性约束，假设其在潜在空间中位于一条线性流形上。
• 通过沿参考帧潜在码定义的直线插值生成新帧的潜在码。
• 使用包含L1、L2和SSIM分量的感知损失函数，联合优化潜在码和解码器。
• 在优化过程中应用Dropout以抑制伪影并提升高频细节恢复能力。
• 采用学习率衰减策略（在2500和3750次迭代时减半），以在优化过程中稳定收敛。

实验结果

研究问题

• RQ1 深度自编码器潜在空间中的显式线性特性是否能够在无需预训练的情况下实现高质量的无监督视频帧插值？
• RQ2 即插即用的基于优化的方法在帧插值性能上与监督深度学习模型相比如何？
• RQ3 架构选择（如激活函数、Dropout和损失组件）对插值帧质量的影响是什么？
• RQ4 单次优化运行是否能够生成多个输入帧之间的任意数量插值帧？
• RQ5 深度卷积神经网络在无标注数据条件下，能在多大程度上捕捉内在视频统计特性以实现无监督视频生成？

主要发现

• DeepLLE在UCF101和DAVIS等多个基准测试中均取得具有竞争力的PSNR和SSIM得分，媲美当前最先进监督模型。
• 损失函数中引入SSIM显著减少了结构伪影，相比未使用SSIM的模型，感知质量明显提升。
• 使用ReLU、SELU或ELU激活函数会导致性能下降，因其易发生饱和；而LReLU表现最佳。
• 优化过程中应用Dropout可大幅减少视觉伪影，并增强高频细节恢复，提升真实感。
• 学习率衰减策略有助于稳定优化过程并防止收敛附近的振荡，但对最终指标的提升作用有限。
• 该方法在使用三帧参考帧时表现最佳；使用更多帧会因高度非线性流形中线性假设被违反而导致性能下降。