[论文解读] Superquadric Object Representation for Optimization-based Semantic SLAM

Florian Tschopp, Juan Nieto+2 more|arXiv (Cornell University)|May 30, 2021

Robotics and Sensor-Based Localization参考文献 30被引用 3

一句话总结

本文提出一种多阶段优化流程，从单目SLAM中的多视角语义掩码观测中拟合超二次曲面（SQ）参数，实现无需密集3D点云的外观无关语义物体表征。在最优初始化条件下，该方法实现了高保真度的SQ恢复，平均IOU >0.92且R-IOU >0.91，表现出对视角和外观变化的鲁棒性。

ABSTRACT

Introducing semantically meaningful objects to visual Simultaneous Localization And Mapping (SLAM) has the potential to improve both the accuracy and reliability of pose estimates, especially in challenging scenarios with significant view-point and appearance changes. However, how semantic objects should be represented for an efficient inclusion in optimization-based SLAM frameworks is still an open question. Superquadrics(SQs) are an efficient and compact object representation, able to represent most common object types to a high degree, and typically retrieved from 3D point-cloud data. However, accurate 3D point-cloud data might not be available in all applications. Recent advancements in machine learning enabled robust object recognition and semantic mask measurements from camera images under many different appearance conditions. We propose a pipeline to leverage such semantic mask measurements to fit SQ parameters to multi-view camera observations using a multi-stage initialization and optimization procedure. We demonstrate the system's ability to retrieve randomly generated SQ parameters from multi-view mask observations in preliminary simulation experiments and evaluate different initialization stages and cost functions.

研究动机与目标

• 解决在基于优化的SLAM系统中引入语义上意义明确、紧凑且鲁棒的物体表征的挑战。
• 克服在真实和户外环境中依赖精确3D点云进行超二次曲面拟合的局限性。
• 仅使用单目相机的2D语义掩码观测，实现基于超二次曲面的语义SLAM。
• 通过形状感知的语义物体提升定位对视角、光照和季节变化的鲁棒性。
• 开发一种高效、解析的代价函数及多阶段优化流程，用于从稀疏掩码数据中拟合SQ参数。

提出的方法

• 利用单目相机的多视角语义掩码作为输入进行超二次曲面拟合，避免对深度传感器的依赖。
• 采用三阶段流程：(1) 通过掩码点的三角测量估计初始3D位置，(2) 基于主成分分析（PCA）的方位与尺寸初始化，(3) 使用解析代价函数进行非线性优化以拟合SQ参数。
• 提出一种解析代价函数，近似观测掩码像素与重投影超二次曲面之间的拟合程度，从而实现高效优化。
• 评估多种初始化序列（如1→2→3D→3A）和代价函数变体，以检验其鲁棒性与收敛性。
• 采用基于重投影的误差度量，并以IOU和R-IOU作为评估标准，量化拟合精度。
• 使用Levenberg-Marquardt算法进行非线性最小二乘优化，以精细化形状、尺寸和位姿参数。

实验结果

研究问题

• RQ1 在无3D点云输入的前提下，能否有效拟合单目相机语义掩码观测的超二次曲面？
• RQ2 哪种多阶段初始化策略能实现最准确且最鲁棒的超二次曲面参数恢复？
• RQ3 代价函数的选择如何影响基于掩码的超二次曲面拟合中的收敛性与拟合质量？
• RQ4 与标准二次曲面相比，超二次曲面的形状与尺寸参数在多大程度上提升了定位鲁棒性？
• RQ5 在观测稀疏、有限的真实条件下，该方法能否实现高保真度的超二次曲面拟合？

主要发现

• 阶段组合1→2→3D→3A实现了最高的拟合精度，平均IOU为0.920，平均R-IOU为0.910，表明与真实超二次曲面近乎完美重叠。
• 通过PCA进行初始化（阶段2）显著提升了收敛性与形状恢复效果，优于直接从三角化点优化。
• 3D深度优化阶段（3D）在最终形状优化（3A）前显著提升了参数精炼效果，尤其在尺寸与方位方面。
• 每视角仅使用一个深度样本（阶段3C）导致结果较差，因优化收敛至细长且与相机对齐的二次曲面，缺乏足够灵活性。
• 3E阶段（独立优化形状参数）未提升性能，反而可能引入新的局部极小值，表明其收益有限。
• 尽管IOU值较高，但因掩码点的随机采样，尺寸与锐利度参数仍存在轻微低估，提示需采用自适应采样策略以提升精度。