[论文解读] Persistent self-supervised learning principle: from stereo to monocular vision for obstacle avoidance

Kevin van Hecke, Guido de Croon+3 more|arXiv (Cornell University)|Mar 25, 2016

Domain Adaptation and Few-Shot Learning参考文献 31被引用 5

一句话总结

本文提出一种持续自监督学习（SSL）框架，使飞行机器人能够从立体视觉过渡到单目深度估计以实现避障，仅在碰撞时将立体视觉作为‘训练辅助’。该方法有效缓解了反馈引起的训练数据偏差，在仅使用4–5分钟训练数据的现实实验中实现了鲁棒的单目导航。

ABSTRACT

Self-Supervised Learning (SSL) is a reliable learning mechanism in which a robot uses an original, trusted sensor cue for training to recognize an additional, complementary sensor cue. We study for the first time in SSL how a robot's learning behavior should be organized, so that the robot can keep performing its task in the case that the original cue becomes unavailable. We study this persistent form of SSL in the context of a flying robot that has to avoid obstacles based on distance estimates from the visual cue of stereo vision. Over time it will learn to also estimate distances based on monocular appearance cues. A strategy is introduced that has the robot switch from stereo vision based flight to monocular flight, with stereo vision purely used as 'training wheels' to avoid imminent collisions. This strategy is shown to be an effective approach to the 'feedback-induced data bias' problem as also experienced in learning from demonstration. Both simulations and real-world experiments with a stereo vision equipped AR drone 2.0 show the feasibility of this approach, with the robot successfully using monocular vision to avoid obstacles in a 5 x 5 room. The experiments show the potential of persistent SSL as a robust learning approach to enhance the capabilities of robots. Moreover, the abundant training data coming from the own sensors allows to gather large data sets necessary for deep learning approaches.

研究动机与目标

• 解决机器人学习中因反馈导致的数据偏差问题，特别是在从监督学习过渡到自监督学习时。
• 开发一种持续的SSL策略，使机器人在原始传感器信号（立体视觉）失效时仍能保持任务性能。
• 使飞行机器人能够仅基于自身传感器数据，从基于立体视觉的距离估计中学习单目深度估计，最大限度减少人工干预。
• 通过配备立体视觉的AR.Drone 2.0在真实环境中评估持续SSL的可行性与鲁棒性。
• 证明丰富的机载传感器数据足以支持实时机器人系统中的深度学习单目深度估计。

提出的方法

• 机器人在初始学习阶段使用立体视觉作为可信的监督信号，训练基于单目外观的深度估计模型。
• 学习完成后，机器人切换至单目飞行，依赖已学习的模型进行深度估计，仅在碰撞即将发生时才重新启用立体视觉。
• 该方法模仿‘训练辅助轮’策略，即在高风险情况下，立体视觉作为安全机制发挥作用。
• 使用视觉词袋模型（VBoW）和小型卷积神经网络（CNN）在实时传感器数据上进行训练，将单目图像特征映射为深度估计值。
• 学习过程采用监督损失函数，以实时视差估计作为真实标签，实现从原始视觉输入的端到端学习。
• 系统在5×5米的室内环境中，通过仿真和真实实验进行了评估。

实验结果

研究问题

• RQ1 机器人在从立体视觉过渡到单目深度估计时，如何保持障碍物避让性能？
• RQ2 在持续自监督学习过程中，何种行为策略可最小化反馈引起的训练数据偏差？
• RQ3 机器人能否仅依靠自身传感器数据，无需人工标注示范，有效学习单目深度估计？
• RQ4 在真实环境中，所学单目深度模型的性能与基于立体视觉的估计相比如何？
• RQ5 训练时长和数据量对所学单目深度模型的鲁棒性与泛化能力有何影响？

主要发现

• ‘训练辅助轮’策略——仅在即将发生碰撞时使用立体视觉——显著优于从立体视觉到单目飞行的硬性切换，有效减少了数据偏差并提升了安全性。
• 真实世界实验表明，仅经过4–5分钟的训练，机器人即可成功实现仅依赖单目视觉的障碍物避让，获得约7,000–9,000个监督样本。
• 所学单目深度模型的性能与VBoW基线相当，并展现出与大规模数据集结合的深度学习集成的潜力。
• 持续SSL框架使机器人能够收集大量、机载的训练数据，适用于深度学习，从而降低了对外部数据采集的依赖。
• 通过在学习过程中持续提供一致的监督信号，该方法有效缓解了从示范学习中常见的反馈导致的数据分布偏移问题。
• 基于CNN的模型已成功部署于AR.Drone 2.0硬件平台，证明了在计算资源受限条件下实现机载推理的可行性。