[论文解读] VidLoc: A Deep Spatio-Temporal Model for 6-DoF Video-Clip Relocalization

Ronald Clark, Sen Wang+3 more|arXiv (Cornell University)|Feb 21, 2017

Robotics and Sensor-Based Localization参考文献 21被引用 31

一句话总结

本文提出 VidLoc，一种深度时空循环模型，通过利用短视频片段（20帧）来提升单目6-DoF相机重定位的精度，方法基于时间平滑性。通过联合建模连续帧，该方法相比单帧基线方法显著降低了定位误差，在具有挑战性的真实世界数据集上，超过50%的预测误差小于20米。

ABSTRACT

Machine learning techniques, namely convolutional neural networks (CNN) and regression forests, have recently shown great promise in performing 6-DoF localization of monocular images. However, in most cases image-sequences, rather only single images, are readily available. To this extent, none of the proposed learning-based approaches exploit the valuable constraint of temporal smoothness, often leading to situations where the per-frame error is larger than the camera motion. In this paper we propose a recurrent model for performing 6-DoF localization of video-clips. We find that, even by considering only short sequences (20 frames), the pose estimates are smoothed and the localization error can be drastically reduced. Finally, we consider means of obtaining probabilistic pose estimates from our model. We evaluate our method on openly-available real-world autonomous driving and indoor localization datasets.

研究动机与目标

• 解决单目6-DoF重定位中感知混叠和单帧姿态估计噪声的问题。
• 利用视频序列中的时间一致性，提升定位精度，超越单帧方法。
• 开发一个统一的端到端框架，整合地图匹配、基于模型的定位和时间滤波。
• 实现在存在动态变化和外观模糊的现实环境中（如城市道路和室内场景）的鲁棒全局重定位。

提出的方法

• 提出一种循环神经网络（RNN）架构，处理短视频片段（例如20帧），以回归6-DoF相机位姿。
• 使用双向RNN捕捉长距离时间依赖性，并在预测的姿态序列中强制实现平滑性。
• 通过融合立体视觉里程计与GPS/INS的位姿图SLAM，端到端训练模型。
• 引入时间正则化，以减少单帧噪声，并抑制因外观变化引起的虚假匹配。
• 通过建模RNN输出中的不确定性，实现概率姿态估计，支持置信度感知的重定位。
• 采用序列长度感知的训练策略，评估不同片段长度（10至100帧）下的性能表现。

实验结果

研究问题

• RQ1 与单帧基线方法相比，短视频片段中的时间平滑性是否能显著降低6-DoF定位误差？
• RQ2 输入视频片段的长度如何影响重定位系统的精度与鲁棒性？
• RQ3 深度循环模型是否能有效在单一端到端架构中统一地图匹配、基于模型的定位和时间滤波？
• RQ4 在具有动态和模糊外观的现实环境中，该方法在多大程度上缓解了感知混叠问题？
• RQ5 该模型能否生成可靠的概率姿态估计，以反映复杂定位场景中的不确定性？

主要发现

• 与Posenet等单帧基线方法相比，所提出的VidLoc模型显著降低了定位误差；当使用100帧序列时，超过50%的预测结果与真实值的误差在20米以内。
• 在100帧序列下，该方法实现了平滑且精确的6-DoF姿态估计，位置和方向均紧密跟踪真实轨迹。
• 该模型有效缓解了感知混叠问题：即使在视觉模糊性较高的场景中（如车辆和光照变化频繁的道路），时间上下文仍能实现正确重定位。
• 误差分布显示，Posenet在超过15%的情况下产生较大误差（>200米），而VidLoc通过时间平滑显著减少了此类异常值。
• 增加序列长度可提升性能，50帧和100帧序列在Google地图上均表现出与真实轨迹的一致对齐，表明对外观变化具有鲁棒性。
• 该方法实现了运动一致性轨迹的端到端学习，表明模型通过时间建模隐式学习到了运动轨迹的形状特征。