[论文解读] Stereo-based terrain traversability analysis using normal-based segmentation and superpixel surface analysis

Roozbeh Dargazany|arXiv (Cornell University)|Jul 16, 2019

Advanced Vision and Imaging参考文献 8被引用 8

一句话总结

本文提出了一种基于立体视觉的地形可通行性分析方法，采用基于法向量的分割与超像素表面分析，将地形分类为五种类别：可通行、半可通行、不可通行、未知和待定。通过从立体图像重建三维地形，利用基于几何的法向量检测超像素表面，并应用结合运动学约束的超像素表面可通行性分析（SSTA），该方法在粗糙的非结构化越野环境中仍能实现鲁棒的分类性能，其性能已在真实世界户外地形数据集上得到验证。

ABSTRACT

In this paper, an stereo-based traversability analysis approach for all terrains in off-road mobile robotics, e.g. Unmanned Ground Vehicles (UGVs) is proposed. This approach reformulates the problem of terrain traversability analysis into two main problems: (1) 3D terrain reconstruction and (2) terrain all surfaces detection and analysis. The proposed approach is using stereo camera for perception and 3D reconstruction of the terrain. In order to detect all the existing surfaces in the 3D reconstructed terrain as superpixel surfaces (i.e. segments), an image segmentation technique is applied using geometry-based features (pixel-based surface normals). Having detected all the surfaces, Superpixel Surface Traversability Analysis approach (SSTA) is applied on all of the detected surfaces (superpixel segments) in order to classify them based on their traversability index. The proposed SSTA approach is based on: (1) Superpixel surface normal and plane estimation, (2) Traversability analysis using superpixel surface planes. Having analyzed all the superpixel surfaces based on their traversability, these surfaces are finally classified into five main categories as following: traversable, semi-traversable, non-traversable, unknown and undecided.

研究动机与目标

• 为解决在非结构化越野及灾后地形中自主导航的挑战，其中远程操控不可靠。
• 通过将可通行性分析重新表述为三维重建与全面的表面检测，提升地形可通行性分析性能。
• 通过将车辆运动学约束（如最大坡度、最大台阶高度）整合到表面分析中，提升分类准确性。
• 利用基于超像素的分割，检测并分类所有地形表面——包括可通行、半可通行、不可通行、未知和待定区域。
• 通过利用主导地面平面的置信度与点云质量检查，减少在噪声或低质量点云中的误分类。

提出的方法

• 立体摄像头系统捕获校正后的灰度图像，通过立体匹配与深度估计实现三维地形重建。
• 从三维点云中计算基于像素的表面法向量，以支持基于几何的特征提取。
• 应用超像素分割，将空间相邻且表面法向量相似的像素分组，形成超像素表面。
• 对每个超像素区域执行超像素表面可通行性分析（SSTA），估计平面参数与表面法向量。
• 通过内点数量阈值（0.02 × 图像宽度 × 高度）、正法向量方向及相机下方的空间位置，检测主导地面平面。
• 通过比较超像素平面与主导地面平面之间的点到平面距离，与车辆特定的最大台阶高度进行对比，执行可通行性分类。
• 通过主导可通行平面的置信度验证点云质量；低置信度将导致丢弃该帧。

实验结果

研究问题

• RQ1 基于立体视觉、基于法向量的分割与超像素分析，是否能在非结构化、粗糙的越野环境中实现准确且鲁棒的地形可通行性分类？
• RQ2 与仅依赖几何特征的方法相比，集成车辆运动学约束（如最大坡度、最大台阶高度）如何提升可通行性分类的可靠性？
• RQ3 与固定尺寸块方法相比，基于超像素的表面分割在多大程度上减少了噪声与误分类？
• RQ4 主导地面平面的置信度在多大程度上可作为可通行性分析中整体点云质量的代理指标？
• RQ5 所提出的方法是否能仅依靠几何特征，有效分类所有地形表面，包括障碍物、未知区域和待定区域？

主要发现

• 所提出的SSTA方法成功将地形分类为五种类别：可通行（绿色）、半可通行（蓝色）、不可通行（红色）、未知（黑色）和待定（无颜色）。
• 该方法在真实世界户外立体图像序列（来自RAVON平台）上表现出鲁棒性能，包括非结构化森林地形。
• 通过内点数量（0.02 × 图像宽度 × 高度）与空间约束检测主导地面平面，显著提升了对主要可通行表面识别的可靠性。
• 通过主导可通行平面的置信度有效评估点云质量；低置信度平面将触发帧的丢弃。
• 通过点到平面距离进行台阶分析，确保仅在机器人最大台阶高度范围内的区域才被分类为可通行。
• 通过结合几何特征与运动学约束，该方法在粗糙地形中减少了误分类，优于以往仅依赖表面法向量或深度质量的方法。