[论文解读] Target driven visual navigation exploiting object relationships

Yiding Qiu, Anwesan Pal+1 more|arXiv (Cornell University)|Mar 15, 2020

Multimodal Machine Learning Applications参考文献 34被引用 16

一句话总结

本文提出 MJOLNIR，一种基于目标驱动的视觉导航方法，通过利用记忆增强的分层学习框架，显式建模对象间的关系，特别是目标对象与其显著父对象之间的关系。通过在室内环境中显式建模上下文关系，MJOLNIR 相较于最先进方法实现了约 30% 的成功率提升和更快的收敛速度。

ABSTRACT

Recently driven visual navigation strategies have gained a lot of popularity in the computer vision and reinforcement learning community. Unfortunately, most of the current research tends to incorporate sensory input into a reward-based learning approach, with the hope that a robot can implicitly learn its optimal actions through recursive trials. These methods seldom generalize across domains as they fail to exploit natural environment object relationships. We present Memory-utilized Joint hierarchical Object Learning for Navigation in Indoor Rooms (MJOLNIR), a target-driven visual navigation algorithm, which considers the inherent relationship between target objects, along with the more salient parent objects occurring in its surrounding. Extensive experiments conducted across multiple environment settings show $\approx extbf{30 %}$ improvement over the existing state-of-the-art navigation methods in terms of the success rate. We also show that our model learns to converge much faster than other algorithms. We will make our code publicly available for use in the scientific community.

研究动机与目标

• 为了解决现有基于奖励的视觉导航方法在不同领域间泛化能力差的问题。
• 通过在环境中显式建模目标对象与其父对象之间的关系，提升导航性能。
• 开发一种分层的、记忆增强的学习框架，以捕捉上下文场景结构，实现更优的决策。
• 在目标驱动的视觉导航任务中实现更快的收敛速度和更高的成功率。

提出的方法

• MJOLNIR 采用分层架构，通过记忆增强机制联合学习对象关系与导航策略。
• 它建模目标对象与其更显著的父对象（如“杯子”在“桌子”上）之间的空间与语义关系，以提升场景理解能力。
• 记忆模块用于存储和检索相关对象-上下文特征，以随时间指导导航决策。
• 该方法采用基于奖励的强化学习框架，但通过从对象层次结构中引入结构化的关系归纳偏置加以增强。
• 模型通过视觉观测和目标条件监督进行端到端训练，以提升策略的泛化能力。
• 它利用场景上下文减少探索低效性，加速收敛。

实验结果

研究问题

• RQ1 建模目标对象与其父对象之间的对象关系是否能提升在未见环境中的导航成功率？
• RQ2 引入结构化的、关系性的归纳偏置如何影响视觉导航智能体的泛化能力与收敛速度？
• RQ3 记忆增强的分层学习在目标驱动导航中相较于标准深度强化学习的性能优势有多大？
• RQ4 与标准基于奖励的方法相比，显式建模环境上下文是否能带来更快的策略收敛速度？

主要发现

• MJOLNIR 在多种环境设置下，成功率相比最先进导航方法高出约 30%。
• 该模型相较于现有方法收敛速度显著更快，表明样本效率更高。
• 引入对象关系有助于在多样化室内环境中实现更好的泛化能力。
• 记忆增强的分层设计提升了上下文理解能力，减少了对大量试错学习的依赖。