[论文解读] Structure Aware SLAM using Quadrics and Planes

Mehdi Hosseinzadeh, Yasir Latif+3 more|arXiv (Cornell University)|Apr 24, 2018

Robotics and Sensor-Based Localization参考文献 28被引用 5

一句话总结

本文提出了一种结构感知的SLAM系统，将3D点、平面表面和二次曲面形状的物体（如桌子、水杯）整合到单一稀疏非线性优化框架中。通过将物体建模为椭球形二次曲面并施加曼哈顿约束和支持约束，该方法显著降低了相机轨迹误差——在TUM RGB-D数据集上，与ORB-SLAM2相比，ATE最高提升了72.77%。

ABSTRACT

Simultaneous Localization And Mapping (SLAM) is a fundamental problem in mobile robotics. While point-based SLAM methods provide accurate camera localization, the generated maps lack semantic information. On the other hand, state of the art object detection methods provide rich information about entities present in the scene from a single image. This work marries the two and proposes a method for representing generic objects as quadrics which allows object detections to be seamlessly integrated in a SLAM framework. For scene coverage, additional dominant planar structures are modeled as infinite planes. Experiments show that the proposed points-planes-quadrics representation can easily incorporate Manhattan and object affordance constraints, greatly improving camera localization and leading to semantically meaningful maps. The performance of our SLAM system is demonstrated in https://youtu.be/dR-rB9keF8M .

研究动机与目标

• 解决传统基于点的SLAM系统缺乏语义信息的问题，从而限制其在抓取等高层机器人任务中的应用。
• 通过将平面结构和通用物体形状作为路标引入，实现实时、在线SLAM，并引入丰富的几何先验。
• 开发一种计算高效的3D物体表示方法，利用二次曲面支持快速、稀疏的非线性优化。
• 通过施加几何约束（如曼哈顿约束（正交平面）和支撑约束（物体与平面相切））提升相机位姿估计的准确性。
• 证明结合点、平面和二次曲面并辅以约束条件，可在室内环境中生成更鲁棒且具有语义意义的地图。

提出的方法

• 将通用物体表示为源自物体检测输出的椭球形二次曲面，实现对物体范围和方向的紧凑且可微分的建模。
• 利用RGB-D相机的深度数据初始化3D点和平面，通过RANSAC或类似方法对场景中的平面区域进行拟合。
• 提出一种新型的二次曲面参数化方法，使其能够在SLAM的非线性最小二乘优化框架中实现高效且稳定的更新。
• 施加几何约束：曼哈顿约束（平面正交性）和支撑约束（二次曲面与支撑平面的相切关系），以提升位姿估计性能。
• 将所有路标（点、平面、二次曲面）整合到统一的稀疏非线性优化问题中，利用稀疏性实现实时性能。
• 以ORB-SLAM2作为基线，扩展其地图表示和约束机制，支持对性能增益的消融实验。

实验结果

研究问题

• RQ1 与仅使用点或仅使用点和平面的表示相比，将通用物体建模为二次曲面是否能提升实时SLAM系统中的相机定位精度？
• RQ2 在SLAM优化框架中集成几何约束（特别是曼哈顿约束和支持约束）的效果如何？
• RQ3 在特征稀少或以平面为主的室内环境中，同时引入平面和二次曲面在多大程度上能减少轨迹漂移？
• RQ4 所提出的二次曲面表示能否在不带来显著计算开销的前提下，高效地更新并集成到现有的稀疏非线性优化流水线中？
• RQ5 在TUM RGB-D等标准基准数据集上，所提出系统的性能与当前最先进的单目SLAM（如ORB-SLAM2）相比如何？

主要发现

• 在TUM fr3/long_office序列中，采用点、平面和二次曲面并施加曼哈顿与支撑约束的系统（PPQ+MS）将ATE降低了51.07%，是所有测试配置中改善最大的。
• 在fr3/cabinet序列（特征稀少且对基于点的SLAM具有挑战性）中，与ORB-SLAM2相比，该系统在ATE上实现了72.77%的提升，证明了基于二次曲面的物体建模具有显著价值。
• 在具有强平面结构的序列中，添加曼哈顿约束（PP+M）可使ATE降低高达72.77%，表明几何先验能显著稳定轨迹估计。
• 即使不使用二次曲面，仅使用点和平面（PP）的配置在所有序列上平均将ATE降低了8.01%，证实了平面结构在SLAM中的优势。
• 完整系统（PPQ+MS）优于所有消融变体（包括仅含点和二次曲面的PQ），表明所有组件（尤其是约束）之间的协同效应推动了性能提升。
• 图7的视觉对比显示，所提系统估计的轨迹在长环路序列（如fr3/long_office）中与真实轨迹高度吻合，说明更丰富的路标几何信息使回环检测更加鲁棒。