[论文解读] Multigrid Predictive Filter Flow for Unsupervised Learning on Videos

Shu Kong, Charless C. Fowlkes|arXiv (Cornell University)|Apr 2, 2019

Advanced Vision and Imaging参考文献 102被引用 16

一句话总结

本文提出多网格预测滤波流（mgPFF），一种紧凑的无监督视频学习框架，通过多尺度共享权重变形，预测逐像素滤波器以重建图像帧，在视频物体分割、姿态追踪和长程帧重建任务中实现最先进性能，模型大小仅4.6MB，256×256图像的推理时间仅为0.1秒。

ABSTRACT

We introduce multigrid Predictive Filter Flow (mgPFF), a framework for unsupervised learning on videos. The mgPFF takes as input a pair of frames and outputs per-pixel filters to warp one frame to the other. Compared to optical flow used for warping frames, mgPFF is more powerful in modeling sub-pixel movement and dealing with corruption (e.g., motion blur). We develop a multigrid coarse-to-fine modeling strategy that avoids the requirement of learning large filters to capture large displacement. This allows us to train an extremely compact model (4.6MB) which operates in a progressive way over multiple resolutions with shared weights. We train mgPFF on unsupervised, free-form videos and show that mgPFF is able to not only estimate long-range flow for frame reconstruction and detect video shot transitions, but also readily amendable for video object segmentation and pose tracking, where it substantially outperforms the published state-of-the-art without bells and whistles. Moreover, owing to mgPFF's nature of per-pixel filter prediction, we have the unique opportunity to visualize how each pixel is evolving during solving these tasks, thus gaining better interpretability.

研究动机与目标

• 解决在无结构约束（如自运动）的自由形式未标注视频上进行无监督视频表征学习的挑战。
• 克服标准空间变换层在无监督训练中的局限性，包括大位移时梯度信号差和不可逆性问题。
• 通过逐像素滤波器预测而非坐标偏移量，实现对亚像素和大位移运动的精确建模。
• 通过多网格粗到细滤波并共享各尺度权重，构建高效紧凑的模型，降低计算成本和模型大小。
• 在下游任务（如视频物体分割和人体姿态追踪）中展示强大的零样本迁移性能，无需微调。

提出的方法

• 用逐像素滤波器预测替代传统空间变换层：对每个输出像素，预测11×11的滤波权重，通过加权平均从输入帧重建图像帧。
• 反转标准光流估计的运算顺序：不先预测偏移量再插值，而是直接预测隐式定义光流的滤波权重。
• 采用多网格策略处理大位移：在多个分辨率（粗到细）上处理输入帧，每级使用固定11×11滤波核，并组合结果形成最终光流场。
• 通过跨尺度权重共享显著减小模型大小——最终模型仅4.6MB——同时保持性能。
• 使用目标帧与变形帧之间的光度重建损失进行端到端训练，实现在未配对视频帧上的无监督预训练。
• 通过公式(6)将预测的滤波流转换为坐标流，以支持使用双线性采样进行可微变形，实现图像重建。

实验结果

研究问题

• RQ1 在无监督视频学习中，逐像素滤波器预测是否能优于标准空间变换层，特别是在大位移或亚像素运动场景下？
• RQ2 多网格共享权重架构是否能高效建模长程运动，而无需使用大滤波核或大量监督信号？
• RQ3 所提出的mgPFF框架在无监督设置下是否能良好泛化至下游任务，如视频物体分割和人体姿态追踪？
• RQ4 尽管仅在短程帧对上进行训练，mgPFF在长程帧重建任务中的表现与光流基线相比如何？
• RQ5 逐像素滤波器演化过程的可解释性是否能为视频理解任务中的运动动态提供洞察？

主要发现

• 在DAVIS2017验证集上，mgPFF在5帧间隔时的逐像素L1重建误差为7.32，在10帧间隔时为8.83，显著优于FlowNet2（62.4和90.3）、CycleTime（60.4和76.4）及其他基线方法。
• 在JHMDB数据集上，mgPFF在无需任何微调的情况下实现了视频物体分割和人体姿态追踪的最先进性能，优于ColorPointer和CycleTime等方法。
• 即使仅使用第一帧的掩码进行初始化，mgPFF仍能提升追踪性能，表明其对物体运动和遮挡具有鲁棒性。
• 失败案例主要源于严重遮挡、运动模糊或物体移出图像边界，表明在极端视觉退化情况下存在局限性。
• 该模型极为高效：在256×256图像上推理时间仅0.1秒，模型大小仅为4.6MB，得益于权重共享和多尺度滤波。
• 逐像素滤波器演化过程的可视化显示了可解释的运动模式，揭示了像素在时间维度上如何被追踪和变换。