[论文解读] Optical Flow Estimation using a Spatial Pyramid Network

Anurag Ranjan, Michael J. Black|arXiv (Cornell University)|Nov 3, 2016

Advanced Vision and Imaging参考文献 32被引用 20

一句话总结

本文提出 SPyNet，一种轻量级光流网络，通过将经典的自粗到精空间金字塔结构与深度学习相结合，实现高效光流估计。通过在每个金字塔层级应用深度网络来预测小于1像素的光流更新，SPyNet 相较于 FlowNet 将模型大小减少了96%，在 Middlebury 和 KITTI 基准测试中实现更优的准确性，并支持实时、嵌入式部署，同时学习到可解释的时空滤波器，其形态类似于经典导数与 Gabor 滤波器。

ABSTRACT

We learn to compute optical flow by combining a classical spatial-pyramid formulation with deep learning. This estimates large motions in a coarse-to-fine approach by warping one image of a pair at each pyramid level by the current flow estimate and computing an update to the flow. Instead of the standard minimization of an objective function at each pyramid level, we train one deep network per level to compute the flow update. Unlike the recent FlowNet approach, the networks do not need to deal with large motions; these are dealt with by the pyramid. This has several advantages. First, our Spatial Pyramid Network (SPyNet) is much simpler and 96% smaller than FlowNet in terms of model parameters. This makes it more efficient and appropriate for embedded applications. Second, since the flow at each pyramid level is small (< 1 pixel), a convolutional approach applied to pairs of warped images is appropriate. Third, unlike FlowNet, the learned convolution filters appear similar to classical spatio-temporal filters, giving insight into the method and how to improve it. Our results are more accurate than FlowNet on most standard benchmarks, suggesting a new direction of combining classical flow methods with deep learning.

研究动机与目标

• 通过将经典的自粗到精金字塔方法与深度学习相结合，提升光流估计的准确性和效率。
• 减小模型大小与推理时间，以适配移动与嵌入式应用的部署需求。
• 学习可解释的、具有生物学合理性的时空滤波器，而非随机滤波器，以增强模型的可解释性并提升优化潜力。
• 通过将大位移处理任务交由金字塔结构承担，解决深度网络在处理大位移时的局限性。
• 证明在大位移场景下，逐层学习光流更新的策略优于端到端的光流估计方法。

提出的方法

• 通过下采样输入图像对至多个分辨率层级，构建空间金字塔，将大位移转换为粗层级上的亚像素位移。
• 在每个金字塔层级，利用当前光流估计将一张图像向另一张图像进行图像扭曲，生成一对对齐图像，用于光流更新的预测。
• 在每个金字塔层级训练一个卷积神经网络，以预测光流增量，用学习到的更新函数替代经典的能量最小化方法。
• 将光流估计从每一级上采样并累加到下一级，形成非迭代的自粗到精优化过程。
• 网络在 Flying Chairs 数据集上进行预训练，并在 Middlebury 和 KITTI 上进行微调，所有金字塔层级共享同一架构以减少参数量。
• SPyNet 学习到的滤波器与经典时空高斯导数和 Gabor 滤波器相似，表明其与现有运动处理模型具有兼容性。

实验结果

研究问题

• RQ1 能否通过深度学习方法在保持极小模型尺寸的前提下，提升光流估计的准确性，以适配嵌入式系统？
• RQ2 将大位移估计分解为多层级金字塔中可学习的小位移更新，是否能带来优于端到端学习的性能表现？
• RQ3 基于金字塔结构的网络所学习到的滤波器是否与经典时空滤波器相似，表明其与生物和工程原理的一致性？
• RQ4 能否使轻量化网络在标准基准测试中达到最先进精度，同时显著快于以往的深度网络？
• RQ5 与纯端到端深度学习相比，经典金字塔扭曲与学习光流更新相结合的方法在鲁棒性与泛化能力方面表现如何？

主要发现

• SPyNet 相较于 FlowNet 将模型大小减少了96%，显著提升推理速度，支持在移动与嵌入式设备上的部署。
• 在微调后，SPyNet 在 Middlebury 和 KITTI 基准测试中的准确率高于 FlowNet，尽管其模型尺寸小得多。
• 网络学习到的卷积滤波器与经典高斯导数和 Gabor 滤波器相似，表明其具备有意义的特征学习能力与可解释性。
• SPyNet 在速度-精度权衡中优于所有更快的方法，是实时运行网络中最佳平衡的代表。
• 通过在每一级学习更新的自粗到精方法，能有效处理大位移，确保每一级均保持亚像素位移。
• 该方法继承了空间金字塔的局限性，例如难以捕捉细长或高速运动物体的运动，提示未来需结合稀疏匹配或通道恒常性表示进行改进。