[论文解读] Sparse Depth Sensing for Resource-Constrained Robots

Fangchang Ma, Luca Carlone+2 more|arXiv (Cornell University)|Mar 4, 2017

Robotics and Sensor-Based Localization被引用 7

一句话总结

本文提出了一种凸优化框架，通过利用结构化人工环境中的二阶导数稀疏性，从极稀疏的深度测量中重建密集的2D和3D深度图。该方法在仅使用40个测量值的情况下即可实现100×100深度图的高精度重建，优于插值方法，并支持超分辨率和压缩感知应用。

ABSTRACT

We consider the case in which a robot has to navigate in an unknown environment but does not have enough on-board power or payload to carry a traditional depth sensor (e.g., a 3D lidar) and thus can only acquire a few (point-wise) depth measurements. We address the following question: is it possible to reconstruct the geometry of an unknown environment using sparse and incomplete depth measurements? Reconstruction from incomplete data is not possible in general, but when the robot operates in man-made environments, the depth exhibits some regularity (e.g., many planar surfaces with only a few edges); we leverage this regularity to infer depth from a small number of measurements. Our first contribution is a formulation of the depth reconstruction problem that bridges robot perception with the compressive sensing literature in signal processing. The second contribution includes a set of formal results that ascertain the exactness and stability of the depth reconstruction in 2D and 3D problems, and completely characterize the geometry of the profiles that we can reconstruct. Our third contribution is a set of practical algorithms for depth reconstruction: our formulation directly translates into algorithms for depth estimation based on convex programming. In real-world problems, these convex programs are very large and general-purpose solvers are relatively slow. For this reason, we discuss ad-hoc solvers that enable fast depth reconstruction in real problems. The last contribution is an extensive experimental evaluation in 2D and 3D problems, including Monte Carlo runs on simulated instances and testing on multiple real datasets. Empirical results confirm that the proposed approach ensures accurate depth reconstruction, outperforms interpolation-based strategies, and performs well even when the assumption of structured environment is violated.

研究动机与目标

• 解决资源受限的机器人无法携带标准3D激光雷达或高分辨率深度传感器时的深度重建挑战。
• 仅使用少量（点对点）深度测量，实现对未知环境的精确几何重建。
• 利用人工环境的结构规律性（如平面表面和稀疏边缘），以实现从不完整数据中进行重建。
• 开发一种理论基础扎实、可扩展且实用的算法流程，实现在微型机器人上的实时深度重建。
• 在多种任务中展示其适用性，包括3D制图、深度压缩和超分辨率成像。

提出的方法

• 将深度重建建模为一个稀疏优化问题，通过最小化深度图二阶导数的ℓ₁-范数，以促进具有少量边缘的分段平面结构。
• 将NP难的稀疏恢复问题松弛为带有ℓ∞-范数约束的凸ℓ₁-最小化问题，以保证数据保真度。
• 采用一阶优化方法，特别是适配Nesterov算法（NESTA），以加速大规模深度图的收敛。
• 集成RGB边缘检测以指导采样与重建，实现仅基于边缘测量而非原始深度数据的重建。
• 通过将低分辨率深度图视为更高分辨率真实值的稀疏测量，将该框架应用于超分辨率成像。
• 设计专用求解器并利用问题结构，以实现在大规模深度图上的实时性能。

实验结果

研究问题

• RQ1 在未知的结构化环境中，能否从极少数深度测量中准确重建密集深度图？
• RQ2 在稀疏采样下，何种理论条件可保证深度图的精确或稳定恢复？
• RQ3 在存在噪声和测量稀疏性的情况下，所提方法与基于插值的方法相比表现如何？
• RQ4 该重建框架能否扩展至超分辨率深度成像和压缩深度传输？
• RQ5 在保持重建质量的前提下，RGB提取的边缘在多大程度上可作为深度测量的代理，以减少数据传输量？

主要发现

• 所提方法仅用40个深度测量即可高精度重建100×100的深度图，证明了超稀疏传感的可行性。
• ℓ₁-对角（L1diag）公式在所有数据集上均持续优于基线插值方法，包括存在噪声的ZED立体视觉数据。
• 即使真实深度受传感器噪声影响（如ZED相机产生的噪声），该方法仍通过稀疏性约束过滤噪声，实现更优的重建质量。
• 仅使用RGB边缘进行重建可显著降低数据速率，同时保持具有竞争力的精度，适用于带宽受限系统中的高效传输。
• 该方法实现了超分辨率深度成像，成功将72×103的深度图放大至359×512，结果平滑且合理，包括缺失像素的填充。
• 理论分析建立了精确恢复的条件并提供了误差界，证实了在2D和3D问题中测量噪声下的稳定性。