[论文解读] ROSEFusion: Random Optimization for Online Dense Reconstruction under Fast Camera Motion

Jiazhao Zhang, Chenyang Zhu+2 more|arXiv (Cornell University)|May 12, 2021

Advanced Vision and Imaging参考文献 48被引用 217

一句话总结

ROSEFusion 在快速相机运动下通过使用带预采样粒子群模板的粒子滤波优化和基于深度的适应度函数实现实时密集 RGB-D 重建，无需惯性数据。

ABSTRACT

Online reconstruction based on RGB-D sequences has thus far been restrained to relatively slow camera motions (<1m/s). Under very fast camera motion (e.g., 3m/s), the reconstruction can easily crumble even for the state-of-the-art methods. Fast motion brings two challenges to depth fusion: 1) the high nonlinearity of camera pose optimization due to large inter-frame rotations and 2) the lack of reliably trackable features due to motion blur. We propose to tackle the difficulties of fast-motion camera tracking in the absence of inertial measurements using random optimization, in particular, the Particle Filter Optimization (PFO). To surmount the computation-intensive particle sampling and update in standard PFO, we propose to accelerate the randomized search via updating a particle swarm template (PST). PST is a set of particles pre-sampled uniformly within the unit sphere in the 6D space of camera pose. Through moving and rescaling the pre-sampled PST guided by swarm intelligence, our method is able to drive tens of thousands of particles to locate and cover a good local optimum extremely fast and robustly. The particles, representing candidate poses, are evaluated with a fitness function defined based on depth-model conformance. Therefore, our method, being depth-only and correspondence-free, mitigates the motion blur impediment as ToF-based depths are often resilient to motion blur. Thanks to the efficient template-based particle set evolution and the effective fitness function, our method attains good quality pose tracking under fast camera motion (up to 4m/s) in a realtime framerate without including loop closure or global pose optimization. Through extensive evaluations on public datasets of RGB-D sequences, especially on a newly proposed benchmark of fast camera motion, we demonstrate the significant advantage of our method over the state of the arts.

研究动机与目标

• 在没有惯性测量的情况下应对快速相机运动的在线密集 RGB-D 重建。
• 提出一种鲁棒的仅深度相机跟踪方法，能够处理较大的帧间旋转和运动模糊。
• 引入一种快速的、基于模板的随机优化，以替代标准粒子采样。
• 提供一个深度到 TSDF 的适应度函数，用于评估候选位姿。
• 提供一个新的快速运动 RGB-D 基准，并展示与最先进方法的竞争性能。

提出的方法

• 将逐帧位姿优化表述为深度到 TSDF 的一致性，使用帧对模型的似然度。
• 引入带有预采样粒子群模板 (PST) 的位姿粒子滤波优化（PFO）。
• 通过移动和改变大小一个6D椭圆模板来演化 PST，以覆盖良好的局部极值，同时用基于深度的适应度函数评估候选位姿。
• 将适应度定义为对未投影深度点的 TSDF 值平方和的负指数，使得无需对应关系也能优化。
• 使用考虑重叠的似然度，避免在快速运动导致帧重叠减少时过度对齐非重叠区域。
• 通过6D Poisson disk 采样应用 PST 预采样，并在每帧 Around previous best pose 初始化 PST 以维持探索。

实验结果

研究问题

• RQ1 在线密集 RGB-D 重建在没有 IMU 数据的情况下，对极快的相机运动是否鲁棒？
• RQ2 如何使随机优化在基于深度的融合中的逐帧位姿估计变得快速且可靠？
• RQ3 预采样的粒子群模板是否改善了位姿优化中的探索-开发平衡？
• RQ4 在运动模糊条件下，基于深度的 TSDF 一致性是否足以实现准确的位姿跟踪？
• RQ5 相较于现有方法，所提出的方法在快速运动的 RGB-D 基准上的表现如何？

主要发现

• 在相机运动达到速度高达4 m/s、实时30 Hz 时，无需回环闭合或全局优化，即可实现较高质量的位姿跟踪。
• 通过依赖深度信息而非 RGB 特征，展现对运动模糊的鲁棒性。
• 在快速运动的 RGB-D 基准上超越最先进的方法，包括一个新的快速运动基准（FastCaMo）。
• 提供一个基于 PST 演化随机搜索而非传统梯度优化的仅深度在线密集重建系统。
• 提供一个包含真实轨迹和重建的快速相机运动 RGB-D 序列数据集基准。