[论文解读] SfM-Net: Learning of Structure and Motion from Video

Sudheendra Vijayanarasimhan, Susanna Ricco+3 more|arXiv (Cornell University)|Apr 25, 2017

Advanced Vision and Imaging参考文献 27被引用 353

一句话总结

SfM-Net 是一个几何感知的神经网络，能够从视频中同时学习深度、相机运动和物体运动，从而实现自监督结构从运动，并可选 Depth/ego-motion监督。

ABSTRACT

We propose SfM-Net, a geometry-aware neural network for motion estimation in videos that decomposes frame-to-frame pixel motion in terms of scene and object depth, camera motion and 3D object rotations and translations. Given a sequence of frames, SfM-Net predicts depth, segmentation, camera and rigid object motions, converts those into a dense frame-to-frame motion field (optical flow), differentiably warps frames in time to match pixels and back-propagates. The model can be trained with various degrees of supervision: 1) self-supervised by the re-projection photometric error (completely unsupervised), 2) supervised by ego-motion (camera motion), or 3) supervised by depth (e.g., as provided by RGBD sensors). SfM-Net extracts meaningful depth estimates and successfully estimates frame-to-frame camera rotations and translations. It often successfully segments the moving objects in the scene, even though such supervision is never provided.

研究动机与目标

• 开发一个神经模型，将逐帧运动分解为深度、相机运动和刚性物体运动。
• 利用可微分渲染/扭曲和光度一致性，实现对单目视频的端到端学习。
• 支持从完全无监督到深度监督或自运动监督的多种监督模式。
• 在真实数据集如 KITTI 和 MoSeg 上演示深度估计、运动分割和相机运动恢复。

提出的方法

• 使用卷积/反卷积网络从单帧预测逐帧深度。
• 预测一组 K 个运动掩码及动态对象的对应 3D 运动，以及全局相机运动。
• 从深度构建 3D 点云，并用物体与相机运动对其进行变换，然后投影到 2D 以形成密集光流。
• 通过可微分的向后扭曲将下一帧进行扭曲，并优化光度一致性（自监督）。
• 强加前向-后向深度一致性，并在可用时应用深度/相机/物体监督（如 Kinect）。
• 使用 K=3 的运动掩码；掩码通过 Sigmoid 激活产生，以允许部分/重叠的物体运动。

实验结果

研究问题

• RQ1 神经网络是否能够从单目视频中联合恢复深度、相机运动和物体运动？
• RQ2 在无约束视频中，对运动对象的显式建模如何影响自监督深度和运动学习？
• RQ3 哪些监督水平（无监督、深度监督、自运动监督）能在真实世界序列中改善深度和运动估计？

主要发现

• 在 KITTI 和 MoSeg 上的自监督学习证明了在没有完全监督的情况下进行深度和运动估计。
• 若不建模物体运动，深度性能会退化；包含运动掩码可使 KITTI 2015 的结果得到改善（移动对象更多）。
• 定性结果显示运动掩码通常与移动对象对齐并解释运动场的部分区域，尽管小物体/远处物体可能被遗漏。
• RGB-D 监督（真实深度或位姿）提高了 KITTI RGB-D SLAM 数据上的相机运动估计和深度质量。
• 该模型可以恢复逐帧自运动和 3D 物体运动，生成连贯的场景流和光流场。