[论文解读] On the Advantages of Multiple Stereo Vision Camera Designs for Autonomous Drone Navigation

Rui Pimentel de Figueiredo, Jakob Grimm Hansen+3 more|arXiv (Cornell University)|May 26, 2021

Robotics and Sensor-Based Localization参考文献 5被引用 6

一句话总结

本文提出一种可重构相机阵列的多立体视觉无人机系统，用于自主无人机导航，整合了视觉-惯性SLAM、基于BiseNet的语义分割以及下一最佳视角（NBV）规划，以提升地图构建精度与感知覆盖范围。主要发现为：使用三台相机在飞行时长、计算负载与地图构建性能之间实现了最佳平衡，相较于单相机与五相机配置，在真实世界仿真中表现更优。

ABSTRACT

In this work we showcase the design and assessment of the performance of a multi-camera UAV, when coupled with state-of-the-art planning and mapping algorithms for autonomous navigation. The system leverages state-of-the-art receding horizon exploration techniques for Next-Best-View (NBV) planning with 3D and semantic information, provided by a reconfigurable multi stereo camera system. We employ our approaches in an autonomous drone-based inspection task and evaluate them in an autonomous exploration and mapping scenario. We discuss the advantages and limitations of using multi stereo camera flying systems, and the trade-off between number of cameras and mapping performance.

研究动机与目标

• 设计并评估一种面向复杂人造环境的多立体视觉无人机系统，用于自主巡检。
• 评估相机数量、飞行时长、计算负载与地图构建性能之间的权衡关系。
• 将概率语义-度量地图构建与下一最佳视角（NBV）规划相结合，以提升探索效率。
• 确定最优相机配置（1、3 或 5 台相机），在能效与感知覆盖范围之间实现平衡。
• 在具备真实世界约束的 Gazebo 仿真环境中验证系统性能。

提出的方法

• 系统采用四旋翼无人机（DJI F450），在正交轴向上安装最多五台立体相机（ZED 2 与 ZED Mini），实现全向视觉覆盖。
• 通过扩展卡尔曼滤波器（EKF）融合视觉与IMU数据，提升状态估计与视觉-惯性里程计（VIO）性能。
• 可重构的多立体视觉相机布局支持根据规划需求动态选择激活的相机。
• 基于轻量级BiseNet的深度卷积神经网络（DCNN）对RGB图像进行语义分割，生成像素级的类别概率分布。
• 将语义预测结果结合深度数据投影至三维空间，并融合进体素八叉树地图（octomap）中，实现概率语义-度量地图构建。
• 基于RRT的NBV规划器结合几何与语义信息，选择最优观测点，以在探索过程中最大化信息增益。

实验结果

研究问题

• RQ1 在自主无人机导航中，增加立体相机数量（1、3、5台）对地图构建性能与飞行时长有何影响？
• RQ2 相较于单相机系统，多相机感知在感知覆盖范围与重建精度方面有何提升？
• RQ3 在真实无人机平台上，相机数量、功耗与飞行时长之间的最优权衡关系为何？
• RQ4 语义信息与度量信息能否有效融合，以指导复杂室内环境中下一最佳视角的规划？
• RQ5 相较于前向与侧向相机，后向与底部相机在长期地图构建中的贡献程度如何，其信息增益为何较低？

主要发现

• 使用五台相机显著提升了感知覆盖范围，并缩短了达到全视角覆盖的时间，但导致飞行时长显著减少。
• 平均飞行时长从1台相机时的8.79 ± 0.86分钟（M=1）下降至5台相机时的6.00 ± 0.99分钟（M=5），表明增加相机带来显著的功耗与重量负担。
• M=3配置实现了最佳平衡，既大幅提升了覆盖范围与地图构建效率，又保持了8.17 ± 0.41分钟的飞行时长。
• 前向与侧向相机对长期地图构建的贡献更大，而后向与底部相机因遮挡与视场重叠有限，信息增益较低。
• 系统在仿真中实现了稳健的语义-度量地图构建，八叉树地图可视化显示了随时间推移的准确语义标注与占据区域增长。
• NBV规划器能有效优先选择信息丰富的观测点，充分利用几何与语义线索，加速地图收敛。