[论文解读] Real-time Image-based 6-DOF Localization in Large-Scale Environments

Hyon Lim, Sudipta N. Sinha+2 more|arXiv (Cornell University)|Mar 20, 2012

Robotics and Sensor-Based LocalizationEngineering被引用 18

一句话总结

本文提出一种基于单目图像的实时6-DOF定位方法，适用于大规模环境，利用SfM重建的点云实现。通过在帧窗口内交错使用快速二值描述符跟踪器与稀疏、离线索引的DAISY描述符匹配，该方法在笔记本电脑上实现超过30 Hz的稳定、低延迟定位，在移动平台上实现12 Hz的性能，无需在线尺度不变特征提取。

ABSTRACT

We present a real-time approach for image-based localization within large scenes that have been reconstructed offline using structure from motion (Sfm). From monocular video, our method continuously computes a precise 6-DOF camera pose, by efficiently tracking natural features and matching them to 3D points in the Sfm point cloud. Our main contribution lies in efficiently interleaving a fast keypoint tracker that uses inexpensive binary feature descriptors with a new approach for direct 2D-to-3D matching. The 2D-to-3D matching avoids the need for online extraction of scale-invariant features. Instead, offline we construct an indexed database containing multiple DAISY descriptors per 3D point extracted at multiple scales. The key to the efficiency of our method lies in invoking DAISY descriptor extraction and matching sparingly during localization, and in distributing this computation over a window of successive frames. This enables the algorithm to run in real-time, without fluctuations in the latency over long durations. We evaluate the method in large indoor and outdoor scenes. Our algorithm runs at over 30 Hz on a laptop and at 12 Hz on a low-power, mobile computer suitable for onboard computation on a quadrotor micro aerial vehicle.

研究动机与目标

• 在仅使用单目视频和SfM重建点云的前提下，实现在大规模室内外环境中实时、精确的6-DOF相机位姿估计。
• 克服定位过程中在线尺度不变特征提取带来的计算瓶颈。
• 在长时间运行中保持一致的低延迟，避免性能波动。
• 支持在低功耗移动平台（如四旋翼无人机）上部署，用于机载导航。

提出的方法

• 该方法使用快速关键点跟踪器与低成本二值特征描述符，实现实时视频帧间2D特征跟踪。
• 通过查询每个3D点在多个尺度下提取的多个DAISY描述符的离线索引数据库，实现2D到3D的匹配。
• DAISY描述符的提取与匹配仅在必要时执行，并分布在连续帧的滑动窗口中，以平衡准确率与效率。
• 系统通过预先计算并索引描述符，避免在线特征提取，从而减少运行时计算量。
• 通过将描述符计算任务卸载并随时间合理分配，算法保持实时性能。
• 通过持续利用跟踪的2D特征及其在SfM点云中的3D对应关系，对位姿估计进行优化。

实验结果

研究问题

• RQ1 仅使用单目视频和离线SfM重建，是否可在大规模环境中实现实时6-DOF定位？
• RQ2 如何使2D到3D匹配足够高效，以实现实时运行，且无需在线尺度不变特征提取？
• RQ3 在帧窗口内分布描述符计算时，准确率与计算负载之间的性能权衡如何？
• RQ4 该方法是否能在动态环境中长时间运行并保持一致的延迟？
• RQ5 该方法是否适用于在低功耗移动平台（如微型飞行器）上部署？

主要发现

• 该方法在标准笔记本电脑上实现超过30 Hz的定位性能，支持实时运行。
• 在低功耗移动计算机上以12 Hz运行，适用于四旋翼微型飞行器的机载计算。
• 系统在长时间运行中保持稳定延迟，无波动。
• 通过在多个尺度下预先计算并索引DAISY描述符，该方法避免了昂贵的在线特征提取。
• 该方法仅使用单目视频和SfM数据，即可在大规模室内外场景中实现精确的6-DOF定位。
• 通过使用帧窗口分布描述符计算，确保了高效率的同时保持了跟踪的鲁棒性。