[论文解读] VORNet: Spatio-temporally Consistent Video Inpainting for Object Removal

Ya-Liang Chang, Zhe Yu Liu+1 more|arXiv (Cornell University)|Apr 14, 2019

Generative Adversarial Networks and Image Synthesis参考文献 49被引用 6

一句话总结

VORNet 是一种新颖的视频对象移除深度学习框架，通过结合光流扭曲与基于图像的修复模型，确保了时空一致性。它在 SVOR 数据集上实现了最先进性能，显著提升了现有方法在时间稳定性和感知质量方面的表现。

ABSTRACT

Video object removal is a challenging task in video processing that often requires massive human efforts. Given the mask of the foreground object in each frame, the goal is to complete (inpaint) the object region and generate a video without the target object. While recently deep learning based methods have achieved great success on the image inpainting task, they often lead to inconsistent results between frames when applied to videos. In this work, we propose a novel learning-based Video Object Removal Network (VORNet) to solve the video object removal task in a spatio-temporally consistent manner, by combining the optical flow warping and image-based inpainting model. Experiments are done on our Synthesized Video Object Removal (SVOR) dataset based on the YouTube-VOS video segmentation dataset, and both the objective and subjective evaluation demonstrate that our VORNet generates more spatially and temporally consistent videos compared with existing methods.

研究动机与目标

• 为解决在逐帧应用基于图像的修复模型时，视频对象移除中存在的时间不一致性问题。
• 开发一种基于学习的视频对象移除系统，无需后处理即可保持空间与时间的一致性。
• 构建一个大规模、多样化的数据集（SVOR），用于训练和评估视频对象移除模型。
• 通过结合光流与 GAN 损失的新型架构，提升视频修复的感知质量与时间稳定性。

提出的方法

• VORNet 以在线方式按顺序处理视频帧，利用光流将前一帧的背景内容进行扭曲，以保证时间一致性。
• 它集成了一个预训练的图像修复模型（例如，Yu 等 [50]），用于生成遮挡区域的合理内容。
• 一个优化网络通过跳跃连接与注意力机制，结合扭曲后的背景特征与修复内容。
• 模型采用重建损失、感知损失（基于 VGG）以及两种 GAN 损失联合训练：空间判别器与时间判别器。
• 时间判别器通过区分真实与伪造的视频序列，确保连续帧之间的一致性。
• 光流通过 FlowNet2 估计，整个流程采用端到端联合优化进行训练。

实验结果

研究问题

• RQ1 基于学习的方法是否能在视频对象移除中实现优于逐帧图像修复的时间与空间一致性？
• RQ2 光流扭曲在保持背景运动与减少视频修复中的闪烁现象方面效果如何？
• RQ3 结合空间与时间 GAN 损失在多大程度上提升了感知质量与时间稳定性？
• RQ4 大规模、多样化的视频对象移除数据集（SVOR）是否能显著提升此类模型的训练与评估效果？
• RQ5 所提出的 VORNet 是否在定量与定性指标上均优于现有的基于块与基于图像的视频修复方法？

主要发现

• VORNet 在所有对比方法中取得了最低的 MSE（0.01560）与 LPIPS（0.1889）分数，表明其在重建质量与感知质量方面表现更优。
• 该模型在 SSIM 上达到最高分（0.7260），表明帧间结构一致性得到显著提升。
• 消融实验表明，所有组件——扭曲网络、VGG 损失、空间与时间判别器——均对性能有显著贡献。
• VORNet 在标准 GPU 配置下运行速度达 2.5 FPS，优于基于块的视频修复方法（0.15 FPS），且快于部分端到端方法。
• 视觉评估与用户研究表明，VORNet 生成的结果在时间稳定性与视觉合理性方面更优，闪烁与失真现象显著减少。
• 所提出的 SVOR 数据集包含 1,958 对视频，涵盖多样的运动与场景，可为视频对象移除模型提供稳健的训练与评估支持。