[论文解读] Self-Supervised Motion Magnification by Backpropagating Through Optical Flow

Zhaoying Pan, Daniel Geng+1 more|arXiv (Cornell University)|Nov 28, 2023

Advanced Vision and Imaging被引用 4

一句话总结

本文提出了一种自监督运动放大方法，通过反向传播经过预训练的光流网络，将预测光流按期望因子缩放，从而放大视频中的微小运动。该方法仅使用真实未标注视频进行训练，无需合成数据，在真实和合成视频上均取得了最先进性能，并支持推理时的适应性调整以及通过用户提供的掩码实现对象特定的放大。

ABSTRACT

This paper presents a simple, self-supervised method for magnifying subtle motions in video: given an input video and a magnification factor, we manipulate the video such that its new optical flow is scaled by the desired amount. To train our model, we propose a loss function that estimates the optical flow of the generated video and penalizes how far if deviates from the given magnification factor. Thus, training involves differentiating through a pretrained optical flow network. Since our model is self-supervised, we can further improve its performance through test-time adaptation, by finetuning it on the input video. It can also be easily extended to magnify the motions of only user-selected objects. Our approach avoids the need for synthetic magnification datasets that have been used to train prior learning-based approaches. Instead, it leverages the existing capabilities of off-the-shelf motion estimators. We demonstrate the effectiveness of our method through evaluations of both visual quality and quantitative metrics on a range of real-world and synthetic videos, and we show our method works for both supervised and unsupervised optical flow methods.

研究动机与目标

• 解决先前基于学习的运动放大方法依赖大规模合成数据集进行监督的局限性。
• 利用现成的光学流网络作为可微监督信号，避免对定制训练数据的需求。
• 通过构建一种惩罚预测光流与目标放大因子偏差的损失函数，实现在真实未标注视频上的自监督训练。
• 支持推理时适应性调整，以提升生成质量，并通过分割掩码实现用户引导的对象级特定放大。

提出的方法

• 模型输入为视频帧对和放大因子 α，输出为光流按 α 缩放后的新帧对。
• 采用可微损失函数估计生成视频的光流，并通过预训练的光学流网络惩罚其与 α 倍输入光流的偏差。
• 训练过程通过光学流网络反向传播梯度，以优化图像生成网络。
• 通过正则化损失保持视觉外观一致性，鼓励输入帧与生成帧之间的像素级一致性。
• 通过在推理时对输入视频微调模型，实现推理时适应性调整以提升质量。
• 通过将用户提供的分割掩码应用于特定区域，实现对象特定的放大。

实验结果

研究问题

• RQ1 能否在无需合成数据或真实放大帧对的情况下，以自监督方式有效训练运动放大？
• RQ2 现成的光学流网络能否作为运动放大的可靠、可微监督信号？
• RQ3 与监督基线方法及拉格朗日插值方法相比，该方法在运动精度和视觉质量方面表现如何？
• RQ4 推理时适应性在多大程度上能提升放大视频的质量？
• RQ5 该方法能否通过分割掩码扩展至仅放大用户选定对象的运动？

主要发现

• 所提方法在定量指标和视觉质量上均优于基于基线插值的方法及监督学习方法，尤其在存在遮挡的复杂场景中表现更优。
• 在合成视频上，该方法的运动误差为 0.61px（最近邻插值）和 0.57px（双线性插值），采用非参数修复方法，显著低于基线方法。
• 采用 DeepFillv2 修复方法时，该方法的放大误差为 0.66x（亚像素测试）和 0.53x（噪声测试），优于所有基线方法。
• 推理时适应性将运动误差从 0.61px 降低至 0.53px（最近邻插值），从 0.57px 降低至 0.53px（双线性插值），表明质量持续提升。
• 在某些情况下，该方法成功放大了吉他弦和树枝等细长结构的运动，但偶尔因这些区域光流估计错误而失败。
• 失败案例主要源于在平滑区域或细长结构中光流预测错误，这些错误随后被放大，表明方法对光流网络精度较为敏感。