[论文解读] Semantic Feature Matching for Robust Mapping in Agriculture

Mohamad Qadri, George Kantor|arXiv (Cornell University)|Jul 9, 2021

Robotics and Sensor-Based Localization参考文献 25被引用 4

一句话总结

本文提出了一种面向农业机器人的基于对象的SLAM系统，利用基于深度学习的高粱种子检测与分割作为语义地标，借助农田环境中结构化的行式导航。通过将种子位置建模为图节点，并利用连续帧之间的水平平移约束，该方法在低纹理、重复性农业环境中实现了78%的平均地图覆盖度，显著优于传统视觉SLAM（如ORB-SLAM2）。

ABSTRACT

Visual Simultaneous Localization and Mapping (SLAM) systems are an essential component in agricultural robotics that enable autonomous navigation and the construction of accurate 3D maps of agricultural fields. However, lack of texture, varying illumination conditions, and lack of structure in the environment pose a challenge for Visual-SLAM systems that rely on traditional feature extraction and matching algorithms such as ORB or SIFT. This paper proposes 1) an object-level feature association algorithm that enables the creation of 3D reconstructions robustly by taking advantage of the structure in robotic navigation in agricultural fields, and 2) An object-level SLAM system that utilizes recent advances in deep learning-based object detection and segmentation algorithms to detect and segment semantic objects in the environment used as landmarks for SLAM. We test our SLAM system on a stereo image dataset of a sorghum field. We show that our object-based feature association algorithm enables us to map 78% of a sorghum range on average. In contrast, with traditional visual features, we achieve an average mapped distance of 38%. We also compare our system against ORB-SLAM2, a state-of-the-art visual SLAM algorithm.

研究动机与目标

• 解决传统视觉SLAM系统在低纹理、重复性农业环境中因特征检测与匹配性能差而导致的失效问题。
• 利用农业机器人在田间结构化的行式导航特性，提升数据关联的鲁棒性。
• 开发一种基于对象的SLAM系统，使用语义对象（高粱种子）作为地标，而非传统视觉特征。
• 实现在低光照、风致运动及低帧率（5Hz）等挑战性条件下精确的3D重建。
• 在上述约束条件下，优于最先进的视觉SLAM系统（如ORB-SLAM2）的映射性能。

提出的方法

• 使用基于深度学习的实例分割模型，在立体图像中检测并分割单个高粱种子。
• 将每个检测到的种子表示为图中的一个节点，其中节点位置为2D图像坐标。
• 通过约束帧间节点间距离保持近似恒定，实现几何一致性。
• 将帧间运动建模为以水平平移为主，利用此特性过滤虚假匹配，提升数据关联性能。
• 应用匈牙利算法，基于空间与运动约束最小化分配成本，以解决数据关联问题。
• 利用立体图像的视觉里程计与语义地标构建3D地图，无需依赖惯性传感器。

实验结果

研究问题

• RQ1 语义对象检测与分割能否提升农业环境中视觉SLAM的数据关联鲁棒性？
• RQ2 利用农业机器人行式导航结构的特性，如何提升在低纹理、重复性田地中的SLAM性能？
• RQ3 在低帧率与纹理差的条件下，基于对象的SLAM在地图精度方面相较于传统基于特征的SLAM（如ORB-SLAM2）的性能优势有多大？
• RQ4 对连续帧间水平平移施加几何约束，能否减少特征关联中的误匹配？
• RQ5 该方法在具有相似结构布局的多种作物类型中，对于大规模3D重建的可扩展性如何？

主要发现

• 所提系统在八个高粱田试验区中，平均可实现78%的总距离地图覆盖，而传统基于特征的方法仅实现38%。
• 在八个测试区域中，系统成功完全映射了三个区域，其余五个区域的平均覆盖率为65%。
• ORB-SLAM2在任一区域中均无法实现超过0.35米的地图构建，表明在低纹理环境中因特征匹配性能差而存在严重不稳定性。
• 与SIFT、SURF、ORB和AKAZE相比，该方法在最大地图覆盖距离方面表现更优，其中SIFT是性能次优的传统方法。
• 系统在一个区域中实现了5.03米的完全地图构建，在另一区域中实现了4.43米，表明在长距离行驶中仍具有鲁棒性。
• 使用语义地标与几何约束显著减少了误匹配，提升了在复杂视觉条件下的数据关联可靠性。