[论文解读] SurfelWarp: Efficient Non-Volumetric Single View Dynamic Reconstruction

Wei Gao, Russ Tedrake|arXiv (Cornell University)|Apr 30, 2019

Robotics and Sensor-Based Localization参考文献 23被引用 5

一句话总结

该论文提出SurfelWarp，一种仅使用单个深度摄像头实现动态场景重建的实时、非体素化SLAM系统。它采用基于表面元的几何表示方法，并利用GPGPU加速的图形处理管线，高效估计非刚性形变并融合深度观测数据，无需体素数据结构，相比先前方法（如DynamicFusion）实现了显著的速度提升，并在拓扑结构变化和跟踪失败情况下表现出更强的鲁棒性。

ABSTRACT

We contribute a dense SLAM system that takes a live stream of depth images as input and reconstructs non-rigid deforming scenes in real time, without templates or prior models. In contrast to existing approaches, we do not maintain any volumetric data structures, such as truncated signed distance function (TSDF) fields or deformation fields, which are performance and memory intensive. Our system works with a flat point (surfel) based representation of geometry, which can be directly acquired from commodity depth sensors. Standard graphics pipelines and general purpose GPU (GPGPU) computing are leveraged for all central operations: i.e., nearest neighbor maintenance, non-rigid deformation field estimation and fusion of depth measurements. Our pipeline inherently avoids expensive volumetric operations such as marching cubes, volumetric fusion and dense deformation field update, leading to significantly improved performance. Furthermore, the explicit and flexible surfel based geometry representation enables efficient tackling of topology changes and tracking failures, which makes our reconstructions consistent with updated depth observations. Our system allows robots to maintain a scene description with non-rigidly deformed objects that potentially enables interactions with dynamic working environments.

研究动机与目标

• 实现仅通过单个深度摄像头对非刚性形变场景进行实时、稠密的重建，且无需预先模型或模板。
• 克服依赖TSDF和形变场的体素化SLAM方法（如DynamicFusion）在性能和内存使用上的限制。
• 通过显式表面元表示和模型重新初始化机制，提升对拓扑结构变化和跟踪失败的鲁棒性。
• 通过利用标准图形处理管线和GPGPU计算实现所有核心操作，实现高效且可扩展的重建。

提出的方法

• 使用平面表面元数组表示场景几何，直接从市售深度传感器获取，避免体素化表示。
• 利用GPGPU加速的图形处理管线实现最近邻维护、非刚性形变场估计和深度融合。
• 采用非刚性跟踪器，其能量项与DynamicFusion类似，但直接在表面元上操作，无需体素中间表示。
• 应用模型重新初始化机制，清理错误的表面元，并从跟踪失败和拓扑结构变化中恢复。
• 消除昂贵的体素化操作，如Marching Cubes、TSDF融合和密集形变场更新。
• 通过基于非刚性配准获得的形变场，将深度观测直接融合到表面元上，实现实时性能。

实验结果

研究问题

• RQ1 非体素化、基于表面元的方法是否能在无需预先模型或模板的情况下实现实时动态重建？
• RQ2 消除体素化数据结构对非刚性SLAM中的性能、内存使用和鲁棒性有何影响？
• RQ3 基于表面元的几何表示是否能有效处理动态重建过程中的拓扑结构变化和跟踪失败？
• RQ4 标准图形处理管线和GPGPU计算在多大程度上能加速非刚性重建中的核心SLAM操作？

主要发现

• 与DynamicFusion相比，SurfelWarp在帧处理时间上实现了显著提速，这得益于体素化操作的消除。
• 该方法能正确处理压缩形变，并在开-闭拓扑结构变化中保持忠实的重建效果，而DynamicFusion和VolumeDeform则无法做到。
• 模型重新初始化机制可实现从跟踪失败和快速或切向运动中的恢复，显著提升了在复杂序列中的鲁棒性。
• 基于表面元的表示方式实现了紧凑的几何与运动表示，相比体素化方法显著降低了内存使用。
• 在'upperbody'和'boxing'数据集上的实验验证了其优越的性能和鲁棒性，尤其在处理复杂形变和失败情况方面表现突出。
• 该方法在单个GPU上实现了实时性能，适用于在线机器人应用。