[论文解读] Towards An End-to-End Framework for Flow-Guided Video Inpainting

Zhen Li, Cheng-Ze Lu+3 more|arXiv (Cornell University)|Apr 6, 2022

Advanced Vision and Imaging被引用 10

一句话总结

该论文提出E2FGVI，一种用于流引导视频修复的端到端框架，通过可学习组件联合优化光流补全、特征传播和内容幻化模块。通过用可学习模块（尤其是可变形卷积用于流引导特征扭曲，以及时间聚焦变换器用于长程上下文建模）替代手工设计的顺序操作，该方法在显著提升推理效率的同时实现了最先进性能与更高的时序一致性。

ABSTRACT

Optical flow, which captures motion information across frames, is exploited in recent video inpainting methods through propagating pixels along its trajectories. However, the hand-crafted flow-based processes in these methods are applied separately to form the whole inpainting pipeline. Thus, these methods are less efficient and rely heavily on the intermediate results from earlier stages. In this paper, we propose an End-to-End framework for Flow-Guided Video Inpainting (E$^2$FGVI) through elaborately designed three trainable modules, namely, flow completion, feature propagation, and content hallucination modules. The three modules correspond with the three stages of previous flow-based methods but can be jointly optimized, leading to a more efficient and effective inpainting process. Experimental results demonstrate that the proposed method outperforms state-of-the-art methods both qualitatively and quantitatively and shows promising efficiency. The code is available at https://github.com/MCG-NKU/E2FGVI.

研究动机与目标

• 解决现有基于光流的视频修复方法中依赖独立、手工设计阶段所导致的低效与误差累积问题。
• 通过实现光流补全、特征传播与内容幻化模块的联合优化，克服顺序处理的局限性。
• 通过在内容幻化过程中建模长程时空依赖，提升时序一致性并减少伪影。
• 通过用可微、可学习组件替代计算量大且无法在GPU上加速的操作，提升推理速度。
• 减少对前期阶段中间结果的依赖，以最小化流水线中的误差传播。

提出的方法

• 提出一种可学习的光流补全模块，对掩码视频帧执行一步光流补全，替代多步、不可微的过程。
• 引入基于可变形卷积的流引导特征传播模块，实现沿光流轨迹的可学习、空间自适应特征采样。
• 在内容幻化模块中采用时间聚焦变换器，以建模空间与时间维度上的局部及非局部依赖。
• 设计一个端到端可训练框架，使三个模块（光流补全、特征传播、内容幻化）在训练过程中实现联合优化。
• 使用基于光流的可微扭曲函数，将可见区域的特征传播到掩码区域，其中可变形卷积提供可学习偏移量。
• 在最终阶段用端到端学习的内容生成过程替代预训练图像修复网络，以保持时序一致性。

实验结果

研究问题

• RQ1 完全端到端可训练的框架是否能在准确率与效率两方面超越现有基于光流的视频修复方法？
• RQ2 与顺序、手工设计的流水线相比，光流补全、特征传播与内容幻化模块的联合优化在多大程度上减少了误差累积？
• RQ3 在特征传播中引入可变形卷积在多大程度上提升了对不准确光流的鲁棒性？
• RQ4 所提出的时序聚焦变换器在建模长程时空依赖以实现连贯视频生成方面有多有效？
• RQ5 在内容幻化模块中使用不同注意力机制时，性能与计算成本之间的权衡如何？

主要发现

• E2FGVI在两个基准数据集上达到最先进性能，在DAVIS数据集上PSNR为32.35，SSIM为0.9688，优于先前方法。
• 该方法将每帧约70帧、分辨率为432×240的视频推理时间缩短至1秒以内，显著快于先前方法如DFVI（约需4分钟）。
• 消融实验表明，将流引导扭曲与可变形卷积结合在特征传播模块中，可获得最佳PSNR（32.35）与SSIM（0.9688），优于仅使用光流或仅使用可变形卷积的变体。
• 时间聚焦变换器在性能与计算量之间取得良好权衡，PSNR（31.73）与SSIM（0.9653）与普通全局注意力（31.74/0.9662）相当，但FLOPs降低25%。
• 定性结果表明，与SOTA方法如FGVC和FuseFormer相比，该方法在复杂运动或缺失细节区域表现出更优的时序一致性和更少伪影。
• 失败案例显示，大运动或大面积缺失物体细节仍具挑战性，表明当前光流估计与传播在极端条件下仍存在局限。