[论文解读] Towards Versatile Embodied Navigation

Hanqing Wang, Wei Liang+2 more|arXiv (Cornell University)|Oct 30, 2022

Multimodal Machine Learning Applications被引用 10

一句话总结

本文提出VXN，一个大规模的3D数据集，支持在连续、多感官丰富的环境中进行四种多模态导航任务——图像目标导航、音频目标导航、物体目标导航和视觉-语言导航。本文还提出了维也纳（Vienna）智能体，一种多功能具身智能体，通过统一的解析-查询框架联合学习所有任务，采用全注意力机制，其性能与专用智能体相当或更优，同时模型复杂度更低，泛化能力更强。

ABSTRACT

With the emergence of varied visual navigation tasks (e.g, image-/object-/audio-goal and vision-language navigation) that specify the target in different ways, the community has made appealing advances in training specialized agents capable of handling individual navigation tasks well. Given plenty of embodied navigation tasks and task-specific solutions, we address a more fundamental question: can we learn a single powerful agent that masters not one but multiple navigation tasks concurrently? First, we propose VXN, a large-scale 3D dataset that instantiates four classic navigation tasks in standardized, continuous, and audiovisual-rich environments. Second, we propose Vienna, a versatile embodied navigation agent that simultaneously learns to perform the four navigation tasks with one model. Building upon a full-attentive architecture, Vienna formulates various navigation tasks as a unified, parse-and-query procedure: the target description, augmented with four task embeddings, is comprehensively interpreted into a set of diversified goal vectors, which are refined as the navigation progresses, and used as queries to retrieve supportive context from episodic history for decision making. This enables the reuse of knowledge across navigation tasks with varying input domains/modalities. We empirically demonstrate that, compared with learning each visual navigation task individually, our multitask agent achieves comparable or even better performance with reduced complexity.

研究动机与目标

• 为复杂3D环境中多任务、多模态具身导航缺乏统一基准的问题提供解决方案。
• 开发一个能够同时掌握多种导航任务（图像目标、音频目标、物体目标、视觉-语言）的单一智能体。
• 探索通过多任务学习在具身智能中实现跨任务知识迁移，并降低模型复杂度。
• 研究多模态感知与统一查询式推理在长时程导航中的有效性。
• 证明单一多功能智能体可在多种导航模态下超越或匹配专用智能体的性能。

提出的方法

• 提出VXN，一个大规模3D数据集，标准化了在连续、感知丰富且声学逼真的室内环境中进行的四种经典导航任务。
• 设计维也纳（Vienna），一种基于全注意力Transformer编码器-解码器架构的多功能具身导航智能体，可联合编码多感官输入与情景记忆。
• 引入统一的解析-查询机制：将目标描述（图像、音频、文本、类别）与任务特定向量嵌入，并解析为多样化的目标查询。
• 使用共享解码器，通过这些查询从情景记忆中检索支持性上下文，实现在不同模态间复用跨任务知识。
• 采用多任务学习目标，结合成功、进展、松弛和探索的复合奖励函数，指导策略学习。
• 通过引入四个可学习的任务嵌入（τ_I, τ_A, τ_T, τ_L）增强任务特定理解，提升泛化能力。

实验结果

研究问题

• RQ1 能否在一个统一框架中训练单一智能体，使其同时掌握多种视觉导航任务——图像目标导航、音频目标导航、物体目标导航和视觉-语言导航？
• RQ2 在多任务具身导航中，跨任务知识迁移在提升性能与降低模型复杂度方面有多有效？
• RQ3 与单模态输入相比，多模态感知（RGB、深度、音频）在多大程度上提升了导航性能？
• RQ4 所提出的带多样化目标向量的解析-查询机制如何提升跨任务的推理与泛化能力？
• RQ5 在多个任务上联合训练是否能带来比为每个任务单独训练模型更好的泛化能力，无论是在已见还是未见环境中？

主要发现

• 维也纳在所有四项导航任务中均达到最先进性能，在未见数据集上的视觉-语言导航成功率达到26.5%，优于单任务模型。
• 多任务智能体将模型参数量从101M减少至31M，通过参数共享显著提升了效率。
• 多模态融合（RGBD + 音频）显著提升性能，音频提供了互补线索，增强了导航准确性。
• 使用N=7个查询头的多样化目标解析取得最佳性能，证实了对同一目标进行多种解释的益处。
• 消融实验证实，每个组件——多感官融合、任务增强嵌入、多样化解析与复合奖励——均对整体性能有显著贡献。
• 同时在四项任务上联合训练，相比单独训练各任务或子集，能带来更好的未见环境泛化能力。