[论文解读] Stereo Vision for Unmanned Aerial VehicleDetection, Tracking, and Motion Control

Maria N. Brunet, Guilherme A. Ribeiro+2 more|arXiv (Cornell University)|May 7, 2020

Robotics and Sensor-Based Localization参考文献 10被引用 4

一句话总结

本文提出了一种基于立体视觉的系统，利用配备有立体摄像头和捕网发射器的猎用无人机，实现对入侵无人机的自主检测、跟踪与运动控制。该方法结合了通过立体视差进行的三维点云重建、基于欧几里得聚类的无人机检测，以及基于卡尔曼滤波器的实时跟踪，实现了亚米级的跟踪精度（0.09 m RMSE）和高精度与高召回率，从而实现实时可靠的捕网拦截。

ABSTRACT

An innovative method of detecting Unmanned Aerial Vehicles (UAVs) is presented. The goal of this study is to develop a robust setup for an autonomous multi-rotor hunter UAV, capable of visually detecting and tracking the intruder UAVs for real-time motion planning. The system consists of two parts: object detection using a stereo camera to generate 3D point cloud data and video tracking applying a Kalman filter for UAV motion modeling. After detection, the hunter can aim and shoot a tethered net at the intruder to neutralize it. The computer vision, motion tracking, and planning algorithms can be implemented on a portable computer installed on the hunter UAV.

研究动机与目标

• 开发一种实时、机载的视觉系统，用于自主检测与跟踪入侵无人机，以实现拦截。
• 通过基于无人机的反制平台应对未经授权无人机操作日益增长的威胁。
• 将立体视觉、目标检测与运动控制集成到便携式、ROS兼容的系统中，以部署于多旋翼猎用无人机上。
• 确保系统对传感器噪声和临时检测丢失具有鲁棒性。
• 通过预测控制补偿跟踪延迟与弹道动力学，实现对系留捕网发射器的精确瞄准。

提出的方法

• 利用安装在猎用无人机上的立体摄像头（WithRobot oCamS-1CGN-U）通过基线和焦距参数进行视差映射，生成三维点云数据。
• 采用分辨率为0.1 m的体素网格下采样，并剔除距离超过10 m的点，以降低计算负载并提高精度。
• 在过滤后的点云上应用欧几里得聚类以检测无人机，剔除点数少于20或多于200的聚类，以排除噪声和非无人机目标。
• 使用离散卡尔曼滤波器，从噪声检测测量中估计并预测入侵无人机的状态（位置、速度、加速度）。
• 实现位置控制器，生成姿态指令以最小化猎用无人机当前位置与预测目标位置之间的误差。
• 在机载计算机上以30 FPS执行整个处理流水线，检测与跟踪延迟均为0.15 s，表明检测计算是流水线的主要瓶颈。

实验结果

研究问题

• RQ1 在不同距离和环境条件下，基于三维点云重建的立体视觉能否可靠地实时检测小型、高速移动的无人机？
• RQ2 在临时检测丢失期间，基于卡尔曼滤波的跟踪系统在保持目标关联一致性方面的有效性如何？
• RQ3 检测与跟踪延迟在多大程度上影响猎用无人机通过捕网拦截的准确性？
• RQ4 可实现的跟踪精度（如RMSE）是多少？与捕网的捕获区域相比如何？
• RQ5 系统在过滤环境杂波引起的误报的同时，能否保持高精度与高召回率的无人机检测？

主要发现

• 在2.5 m距离下，检测系统的均方根误差（RMSE）为X方向0.063 m、Y方向0.112 m、Z方向0.032 m，精度与召回率分别为1.000与0.974。
• 在7.5 m距离下，系统保持了0.993的召回率与0.998的精度，表明其对距离与噪声具有强鲁棒性。
• 跟踪算法在最优测量噪声协方差参数（r = 1.0）下实现了最低0.09米的RMSE，且在所有测试的r值下MOTA均超过0.999。
• 检测与跟踪延迟均为0.15秒，表明检测计算是流水线中的主要瓶颈。
• 卡尔曼滤波器成功预测了在临时检测丢失期间入侵无人机的位置，如轨迹预测所示，确保了不间断跟踪。
• 最终跟踪误差（0.09 m RMSE）显著小于捕网的捕获直径（>1 m），证实了该系统在精确拦截方面的适用性。