[论文解读] Small Obstacle Avoidance Based on RGB-D Semantic Segmentation

Minjie Hua, Yibing Nan+1 more|arXiv (Cornell University)|Aug 30, 2019

Advanced Neural Network Applications参考文献 28被引用 5

一句话总结

本文提出了一种两阶段RGB-D语义分割网络，结合光流监督与运动模糊增强，以实现对道路机器人中微小障碍物的精确检测。通过优化道路与障碍物的分割并确保时序一致性，该系统在室内外环境中均实现了高精度，显著优于以往方法的小障碍物避让性能。

ABSTRACT

This paper presents a novel obstacle avoidance system for road robots equipped with RGB-D sensor that captures scenes of its way forward. The purpose of the system is to have road robots move around autonomously and constantly without any collision even with small obstacles, which are often missed by existing solutions. For each input RGB-D image, the system uses a new two-stage semantic segmentation network followed by the morphological processing to generate the accurate semantic map containing road and obstacles. Based on the map, the local path planning is applied to avoid possible collision. Additionally, optical flow supervision and motion blurring augmented training scheme is applied to improve temporal consistency between adjacent frames and overcome the disturbance caused by camera shake. Various experiments are conducted to show that the proposed architecture obtains high performance both in indoor and outdoor scenarios.

研究动机与目标

• 解决传统基于距离和外观的障碍物检测系统常遗漏微小障碍物的挑战。
• 提升RGB-D图像中道路与障碍物区域语义分割的精度与稳定性，尤其针对微小或低对比度障碍物。
• 确保连续视频帧之间障碍物检测的时序一致性，减少因相机抖动引起的抖动与误报。
• 基于真实世界数据集，开发一种适用于室内外场景的鲁棒端到端障碍物避让系统。

提出的方法

• 提出一种两阶段编码器-解码器语义分割网络：首先分割道路区域，然后在已分割的道路区域内进一步优化障碍物区域。
• 在相邻帧之间应用光流监督，以强制分割预测的时序一致性，减少闪烁与不稳定性。
• 引入基于运动模糊的数据增强方案，以模拟相机抖动，提升对真实世界图像退化的鲁棒性。
• 对分割输出应用形态学处理，以优化障碍物边界并去除噪声。
• 基于优化后的语义地图执行局部路径规划，生成无碰撞轨迹。
• 系统结合RGB与深度输入，提升语义理解能力，超越单目或双目视觉的性能极限。

实验结果

研究问题

• RQ1 与单阶段模型相比，两阶段语义分割网络是否能显著提升对微小障碍物的检测精度？
• RQ2 光流监督在连续RGB-D帧中对障碍物分割的时序一致性提升程度如何？
• RQ3 基于运动模糊的数据增强在提升对相机抖动与图像模糊的鲁棒性方面效果如何？
• RQ4 所提系统是否能在光照与障碍物类型多样的室内外环境中保持高性能？

主要发现

• 在引入运动模糊数据增强后，该方法在室内和室外数据集上的mIoU分别提升了1.2%和0.4%。
• 在光流监督下，分割结果表现出显著提升的时序一致性，有效减少了连续帧中的闪烁与误报。
• 系统成功检测到基线模型（如SegNet、RedNet、PSPNet和DeepLabv3+）所遗漏的微小障碍物（如砖块、碎屑）。
• 路径规划精度（以到真实轨迹的Hausdorff距离衡量）在室内达到0.15m，室外达到0.27m，优于基于双目的方法。
• 障碍物检测率（ODR）显著高于基线模型，且因分割稳定性提升，误报实例数量（NOFP）更少。
• 图10的可视化结果表明，即使在存在微小或不规则障碍物的复杂场景中，系统仍能生成平滑且无碰撞的路径。