[论文解读] Video Inpainting by Jointly Learning Temporal Structure and Spatial Details

Chuan Wang, Haibin Huang+2 more|arXiv (Cornell University)|Jun 22, 2018

Advanced Image Processing Techniques参考文献 39被引用 10

一句话总结

本文提出了一种新颖的端到端深度学习框架用于视频修复，通过双分支结构联合学习时间结构与空间细节：使用3D全卷积网络预测低分辨率时间结构，使用2D全卷积网络恢复高分辨率空间细节。该方法在视觉质量与时间连贯性方面均表现出色，在三个基准数据集上优于以往基于学习的方法。

ABSTRACT

We present a new data-driven video inpainting method for recovering missing regions of video frames. A novel deep learning architecture is proposed which contains two sub-networks: a temporal structure inference network and a spatial detail recovering network. The temporal structure inference network is built upon a 3D fully convolutional architecture: it only learns to complete a low-resolution video volume given the expensive computational cost of 3D convolution. The low resolution result provides temporal guidance to the spatial detail recovering network, which performs image-based inpainting with a 2D fully convolutional network to produce recovered video frames in their original resolution. Such two-step network design ensures both the spatial quality of each frame and the temporal coherence across frames. Our method jointly trains both sub-networks in an end-to-end manner. We provide qualitative and quantitative evaluation on three datasets, demonstrating that our method outperforms previous learning-based video inpainting methods.

研究动机与目标

• 为解决具有复杂外观和大范围缺失区域的高质量视频修复挑战。
• 在保持高空间分辨率与语义一致性的同时，提升帧间的时间连贯性。
• 克服直接将图像修复方法扩展为3D方法的局限性，后者常导致时间上抖动的结果。
• 设计一种联合学习框架，使时间结构引导增强空间细节恢复，反之亦然。
• 实现端到端训练，通过相互监督提升两个子网络的性能。

提出的方法

• 使用3D全卷积编码-解码网络（3DCN）从下采样视频体素中预测低分辨率时间结构，捕捉运动与全局上下文。
• 3DCN输出一个粗糙但时间连贯的视频体素，作为空间细节网络的引导。
• 2D全卷积编码-解码网络（CombCN）利用原始视频与3D预测的结构作为输入，恢复高分辨率帧。
• 空间细节网络采用全局与局部 $l_1$ 一致性损失，确保帧间图像细节的真实感与一致性。
• 两个子网络通过端到端联合训练，使空间细节损失反向传播至3DCN，以优化时间结构预测。
• 该架构将3D时间引导融合进2D空间推理，实现对缺失区域的精确且连贯的补全。

实验结果

研究问题

• RQ1 两阶段3D-2D CNN架构能否联合学习时间结构与空间细节，从而提升视频修复质量？
• RQ2 来自低分辨率3D网络的时间结构引导如何影响高分辨率帧恢复的逼真度与连贯性？
• RQ3 端到端联合训练对时间与空间子网络性能的影响如何？
• RQ4 在处理具有大范围或不规则形状缺失区域的视频时，该方法与基线方法相比表现如何？
• RQ5 该方法在处理大运动或训练数据分布偏移时存在哪些局限性？

主要发现

• 所提方法在三个数据集上的定性与定量评估中，均优于以往基于学习的视频修复方法。
• 联合训练策略的收敛误差为CombCN的6.39与3DCN的9.51，显著优于基线模型的4.20与4.45。
• 消融实验表明，先预训练3DCN再微调CombCN（即本文方法）收敛更快且损失更低，优于从零开始训练或固定3DCN的策略。
• 在3DCN中引入时间轴下采样后，收敛误差上升至11.56（3DCN）与8.13（CombCN），表明因时间细节丢失导致性能下降。
• 在大运动或显著视角变化的视频中观察到失败案例，表明该方法在处理超出3DCN感受野的光学流时存在局限性。
• 该方法未使用GAN，仅依赖 $l_1$ 损失，与基于GAN的图像修复相比可能在逼真度上有所欠缺，提示未来工作可考虑引入生成对抗机制。