[论文解读] REDBEE: A Visual-Inertial Drone System for Real-Time Moving Object Detection

Chong Huang, Peng Chen+3 more|arXiv (Cornell University)|Dec 26, 2017

Robotics and Sensor-Based Localization参考文献 19被引用 8

一句话总结

REDBEE 是一种实时视觉-惯性无人机系统，通过结合惯性辅助双平面单应性估计以处理强烈的视差，并利用融合空间、时间与熵一致性的概率模型来抑制动态背景，从而在低功耗机载处理器上实现高精度的运动目标检测。该系统在商用无人机硬件上实现了户外环境下的高精度表现，优于当前最先进的机载方法。

ABSTRACT

Aerial surveillance and monitoring demand both real-time and robust motion detection from a moving camera. Most existing techniques for drones involve sending a video data streams back to a ground station with a high-end desktop computer or server. These methods share one major drawback: data transmission is subjected to considerable delay and possible corruption. Onboard computation can not only overcome the data corruption problem but also increase the range of motion. Unfortunately, due to limited weight-bearing capacity, equipping drones with computing hardware of high processing capability is not feasible. Therefore, developing a motion detection system with real-time performance and high accuracy for drones with limited computing power is highly desirable. In this paper, we propose a visual-inertial drone system for real-time motion detection, namely REDBEE, that helps overcome challenges in shooting scenes with strong parallax and dynamic background. REDBEE, which can run on the state-of-the-art commercial low-power application processor (e.g. Snapdragon Flight board used for our prototype drone), achieves real-time performance with high detection accuracy. The REDBEE system overcomes obstacles in shooting scenes with strong parallax through an inertial-aided dual-plane homography estimation; it solves the issues in shooting scenes with dynamic background by distinguishing the moving targets through a probabilistic model based on spatial, temporal, and entropy consistency. The experiments are presented which demonstrate that our system obtains greater accuracy when detecting moving targets in outdoor environments than the state-of-the-art real-time onboard detection systems.

研究动机与目标

• 解决在计算资源有限的机载处理器上，使用无人机进行空中监控时，实现实时、高精度运动目标检测的挑战。
• 克服无人机飞行中常见运动相机场景下的强烈视差效应。
• 抑制由动态背景（如摇曳的树木或移动的阴影）引起的误报。
• 在不依赖地面站计算的前提下，实现在低功耗商用无人机处理器上的高性能运动检测。
• 开发一种在复杂户外环境中实现实时、高精度运行的系统。

提出的方法

• 系统采用视觉-惯性融合方法，结合单目相机与惯性测量单元（IMU）的数据，实现鲁棒的运动估计。
• 采用惯性辅助的双平面单应性估计来建模场景几何结构，减轻空中运动中因强烈视差导致的误差。
• 利用概率模型整合空间、时间与熵一致性，以区分运动目标与背景运动。
• 系统采用滑动窗口方法，在保证时间一致性的同时维持实时性能。
• 运行在商用低功耗处理器（高通 Snapdragon Flight）上，实现无需外部计算支持的部署。
• 算法针对嵌入式部署进行了优化，在精度与计算效率之间取得平衡。

实验结果

研究问题

• RQ1 在具有强烈视差的动态户外环境中，实时机载运动检测系统能否实现高精度？
• RQ2 如何有效融合惯性数据与视觉数据，以在高速无人机运动下提升单应性估计的精度？
• RQ3 空间、时间与熵一致性在多大程度上可减少由动态背景引起的误报？
• RQ4 低功耗嵌入式处理器能否在足够精度下实现实时运动检测，以满足实际无人机应用需求？
• RQ5 与当前最先进的机载系统相比，所提出的系统在检测精度与鲁棒性方面表现如何？

主要发现

• REDBEE 在商用低功耗处理器（高通 Snapdragon Flight）上实现了实时性能，证明了其在嵌入式系统中部署的可行性。
• 该系统在户外环境中优于当前最先进的机载运动检测系统，尤其在存在强烈视差的场景中表现更优。
• 惯性辅助的双平面单应性估计在强视差条件下显著提升了运动估计的精度。
• 基于空间、时间与熵一致性的概率模型能有效抑制动态背景引起的误报。
• 即使在存在移动植被与光照变化的复杂场景中，系统仍能保持高检测精度。
• 实验结果表明，REDBEE 在多个户外测试场景中均优于现有实时机载系统，验证了其卓越的精度表现。