[论文解读] On-the-Fly Adaptation of Regression Forests for Online Camera Relocalisation

Tommaso Cavallari, Stuart Golodetz+4 more|arXiv (Cornell University)|Feb 9, 2017

Robotics and Sensor-Based Localization参考文献 38被引用 13

一句话总结

本文提出了一种针对回归森林的实时自适应方法，可在无需离线训练的情况下实现实时光 camera relocalisation。通过保留森林的树结构，并利用新场景的数据在线重新填充特定场景的叶节点，该方法在 150ms 内实现与离线训练森林相当的重定位性能，从而实现从新姿态下的鲁棒重定位。

ABSTRACT

Camera relocalisation is an important problem in computer vision, with applications in simultaneous localisation and mapping, virtual/augmented reality and navigation. Common techniques either match the current image against keyframes with known poses coming from a tracker, or establish 2D-to-3D correspondences between keypoints in the current image and points in the scene in order to estimate the camera pose. Recently, regression forests have become a popular alternative to establish such correspondences. They achieve accurate results, but must be trained offline on the target scene, preventing relocalisation in new environments. In this paper, we show how to circumvent this limitation by adapting a pre-trained forest to a new scene on the fly. Our adapted forests achieve relocalisation performance that is on par with that of offline forests, and our approach runs in under 150ms, making it desirable for real-time systems that require online relocalisation.

研究动机与目标

• 解决基于回归森林的 camera relocalisation 的局限性，即需要在每个新场景上进行离线训练，使其在在线或实时系统中难以应用。
• 通过仅使用新场景中的少量图像帧在线自适应预训练森林，实现在此前未见环境中的精确 camera relocalisation。
• 在保持实时效率的同时，实现与完全训练的离线森林相当的重定位性能，适用于 SLAM 和 AR/VR 应用。
• 克服基于关键帧的方法（如 random ferns）泛化能力差的问题，后者在训练轨迹之外的新姿态下无法实现重定位。

提出的方法

• 离线训练一个通用回归森林，用于预测多种场景下的 2D 到 3D 对应关系，同时保留树的结构和分割参数。
• 在在线自适应过程中，从森林叶节点中移除特定场景的信息，同时保持分支结构完整。
• 利用来自新场景的一组少量训练样本（图像与 3D 点对）在线重新填充叶节点，使森林能够预测特定场景的对应关系。
• 将预测的 2D 到 3D 对应关系输入 Kabsch 算法与 RANSAC，以实现鲁棒的 camera 姿态估计。
• 通过 ICP（Iterative Closest Point）迭代优化进一步提升初始估计后的姿态精度。
• 通过高效树遍历和在线自适应过程中的增量叶节点更新，保持实时性能。

实验结果

研究问题

• RQ1 是否可以对预训练的回归森林进行在线自适应，而无需完整重训练，从而实现实时重定位？
• RQ2 与完全训练的离线森林相比，实时自适应森林在重定位精度方面的表现如何？
• RQ3 该自适应森林能否对训练过程中未见过的新姿态（尤其是远离训练轨迹的姿态）实现重定位？
• RQ4 在线自适应与重定位的计算开销是多少？是否足以满足实时系统的需求？

主要发现

• 实时自适应回归森林在 7-Scenes 基准测试中实现了与完全训练的离线森林相当的重定位性能。
• 该方法成功实现了对与训练轨迹显著不同的新姿态的重定位，性能衰减远慢于 random ferns 等基于关键帧的方法。
• 该方法每轮重定位耗时低于 150ms，适用于 SLAM 和 AR/VR 等实时系统。
• 通过 ICP 优化，方法显著提升了姿态精度，尤其在具有挑战性的测试姿态下表现更优，证明了对姿态新颖性的鲁棒性。
• 在线训练每帧耗时 9.8ms，重定位耗时 141ms，尽管慢于 random ferns，但对实时应用而言仍可接受。
• 在从新姿态重定位方面，该方法优于 random ferns，后者因泛化能力有限而失败。