[论文解读] UAV Visual Teach and Repeat Using Only Semantic Object Features

Amirmasoud Ghasemi Toudeshki, Faraz Shamshirdar+1 more|arXiv (Cornell University)|Jan 24, 2018

Robotics and Sensor-Based Localization参考文献 21被引用 8

一句话总结

本文提出一种仅使用深度卷积神经网络（CNN）语义目标检测作为路标点的单目无人机视觉教学与重演（VTR）系统，摒弃了对低层次图像特征的依赖。该方法通过利用语义检测器的不变性，在大视角变化、光照变化及物体移动条件下实现了鲁棒的重定位与轨迹重复，成功在距离教学起点5米处完成重定位，并在40%高度变化或物体移除/移动的情况下完成轨迹。

ABSTRACT

We demonstrate the use of semantic object detections as robust features for Visual Teach and Repeat (VTR). Recent CNN-based object detectors are able to reliably detect objects of tens or hundreds of categories in a video at frame rates. We show that such detections are repeatable enough to use as landmarks for VTR, without any low-level image features. Since object detections are highly invariant to lighting and surface appearance changes, our VTR can cope with global lighting changes and local movements of the landmark objects. In the teaching phase, we build a series of compact scene descriptors: a list of detected object labels and their image-plane locations. In the repeating phase, we use Seq-SLAM-like relocalization to identify the most similar learned scene, then use a motion control algorithm based on the funnel lane theory to navigate the robot along the previously piloted trajectory. We evaluate the method on a commodity UAV, examining the robustness of the algorithm to new viewpoints, lighting conditions, and movements of landmark objects. The results suggest that semantic object features could be useful due to their invariance to superficial appearance changes compared to low-level image features.

研究动机与目标

• 开发一种仅使用语义目标检测作为路标点的鲁棒无人机视觉教学与重演（VTR）系统。
• 解决低层次特征（如SIFT、SURF）对视角和光照变化敏感的局限性。
• 实现在存在动态变化（如物体移动和光照变化）的真实环境中可靠重定位与轨迹重复。
• 在商用无人机上评估该方法在大视角变化和环境干扰等挑战性条件下的表现。
• 探索语义特征在室外和室内环境中实现长期、无基础设施导航的可行性。

提出的方法

• 在教学阶段，系统记录由预训练CNN目标检测器识别出的紧凑场景描述符，包括检测到的物体标签及其在2D图像平面上的位置。
• 在重演阶段，采用受Seq-SLAM启发的序列-时间重定位方法，将当前的物体检测序列与学习到的参考序列进行匹配，以识别最相似的参考场景。
• 基于漏斗道的视觉伺服控制器引导无人机沿先前飞行的轨迹飞行，采用双窗口前瞻机制以提升对前方路标点的响应能力。
• 系统完全依赖语义检测——不使用低层次特征或三维重建——从而实现计算高效且对外观变化具有鲁棒性。
• 物体检测以视频帧速率实时执行，支持动态且可扩展的路标点跟踪。
• 该方法在商用无人机上通过真实世界实验进行评估，实验中控制了光照变化、物体移除/移动等环境扰动。

实验结果

研究问题

• RQ1 仅依靠语义目标检测是否能提供足够且可重复的路标点，用于单目无人机视觉教学与重演？
• RQ2 在轨迹重演过程中，系统对大视角变化、光照变化及物体移动（如移除或重新定位）的鲁棒性如何？
• RQ3 当无人机在距离教学位置5米处且朝向随机方向启动时，系统是否能实现重定位并成功重复轨迹？
• RQ4 在相似环境干扰条件下，基于语义的VTR方法与传统特征方法（如SURF）相比性能如何？
• RQ5 当无人机在重演过程中高度变化40%时，系统能否保持轨迹跟踪？

主要发现

• 即使从距离教学位置5米处且朝向随机方向启动，无人机仍成功完成重定位，性能优于以往基于SURF的方法（后者在超过1米扰动时即失效）。
• 当无人机高度增加40%时，系统仍保持可靠性能，证明其对尺度和视角变化具有鲁棒性。
• 当物体被移除或移动时，轨迹完成时间平均增加4秒，原因在于路标点对齐不一致导致控制器性能下降。
• 出人意料的是，改变全局光照（如关闭顶灯并使用聚光灯）反而缩短了完成时间，因为提高了检测一致性并减少了“闪烁”式的目标检测。
• 在物体被移除或移动时，检测到的特征数量虽减少，但仍足以实现成功定位与导航。
• 该方法对物体旋转及同类别物体替换表现出强鲁棒性，证实语义特征在长期VTR中的有效性。