[论文解读] Open-World Stereo Video Matching with Deep RNN

Yiran Zhong, Hongdong Li+1 more|arXiv (Cornell University)|Aug 12, 2018

Advanced Vision and Imaging参考文献 19被引用 9

一句话总结

本文提出 OpenStereoNet，一种基于深度循环神经网络（RNN）的模型，包含两个卷积-LSTM 模块，通过在无任何真实标签监督的情况下持续适应未见环境，实现开放世界立体视频匹配。该模型处理连续的立体视频序列，从时间动态中学习，并通过实时最小化图像扭曲误差，在 KITTI 和 Middlebury 基准测试中实现最先进精度。

ABSTRACT

Deep Learning based stereo matching methods have shown great successes and achieved top scores across different benchmarks. However, like most data-driven methods, existing deep stereo matching networks suffer from some well-known drawbacks such as requiring large amount of labeled training data, and that their performances are fundamentally limited by the generalization ability. In this paper, we propose a novel Recurrent Neural Network (RNN) that takes a continuous (possibly previously unseen) stereo video as input, and directly predicts a depth-map at each frame without a pre-training process, and without the need of ground-truth depth-maps as supervision. Thanks to the recurrent nature (provided by two convolutional-LSTM blocks), our network is able to memorize and learn from its past experiences, and modify its inner parameters (network weights) to adapt to previously unseen or unfamiliar environments. This suggests a remarkable generalization ability of the net, making it applicable in an {\em open world} setting. Our method works robustly with changes in scene content, image statistics, and lighting and season conditions {\em etc}. By extensive experiments, we demonstrate that the proposed method seamlessly adapts between different scenarios. Equally important, in terms of the stereo matching accuracy, it outperforms state-of-the-art deep stereo approaches on standard benchmark datasets such as KITTI and Middlebury stereo.

研究动机与目标

• 解决监督式深度立体匹配方法在真实开放世界环境中面对未见场景时的局限性。
• 通过消除真实差异标签监督，克服大规模标注训练数据的需求。
• 利用立体视频序列中的时间一致性，提升在光照、天气和场景内容变化下的鲁棒性与泛化能力。
• 通过递归学习实现在推理过程中网络权重的持续适应，模拟动态环境中终身学习的过程。
• 在无需在目标数据集上进行预训练或微调的情况下，展示在标准立体基准测试上的最先进性能。

提出的方法

• 提出 OpenStereoNet，一种基于深度 RNN 的立体匹配网络，逐帧处理连续立体视频序列。
• 采用卷积特征提取网络（Feature-Net）进行特征提取，匹配网络（Match-Net）进行视差预测，两者均通过两个卷积-LSTM（cLSTM）模块增强。
• 在特征提取和匹配的瓶颈处使用 cLSTM 模块，以编码并利用视频帧间的时间动态。
• 通过在推理过程中利用图像域扭曲误差最小化来更新网络权重，实现实时适应，而无需真实标签。
• 将训练与推理视为统一过程，使网络能够实时记忆并从过往帧中学习。
• 采用端到端优化，使网络通过扭曲后左右图像之间的光度一致性实现自监督。

实验结果

研究问题

• RQ1 在无任何真实标签监督的情况下，立体匹配网络能否有效泛化到此前未见过的场景？
• RQ2 RNN 架构中的递归学习在多大程度上能提升立体视频在光照、天气和场景内容变化下的鲁棒性？
• RQ3 与逐帧处理相比，卷积-LSTM 模块的集成如何增强立体匹配中的时间建模能力？
• RQ4 自适应网络能否在无需预训练或微调的情况下，在 KITTI 和 Middlebury 等标准基准上实现最先进性能？
• RQ5 在合成与真实立体序列上，该方法与现有深度立体模型相比，在精度和泛化能力方面表现如何？

主要发现

• 在 Middlebury 2005 和 2006 立体基准测试中，OpenStereoNet 表现优异，Aloe 数据集的坏像素比率为 4.34%，Dolls 数据集为 6.88%，优于所有基线方法，包括 DispNet 和 MC-CNN。
• 在 Freiburg Sceneflow 数据集上，OpenStereoNet 在 Monkaa 和 FlyingThings3D 序列上生成了高度准确的视差图，重建图像视觉一致，扭曲误差极低。
• 该模型在随机点立体图像（RDS）上表现出色——传统方法如 DispNet 在此类图像上会失效——表明其对非语义、无纹理场景具有强鲁棒性。
• 在未见数据集上的开放世界测试中，OpenStereoNet 无需任何微调即可保持高精度，表明其具备强大的零样本泛化能力。
• 消融实验证实，cLSTM 模块的引入显著提升了性能，尤其在处理动态场景和时间不一致性方面。
• 在 KITTI 基准上，该网络实现了最先进结果，即使在推理阶段未访问真实视差图，也超越了现有深度立体方法。