[论文解读] Perceive, Transform, and Act: Multi-Modal Attention Networks for Vision-and-Language Navigation

Federico Landi, Lorenzo Baraldi+3 more|arXiv (Cornell University)|Nov 27, 2019

Multimodal Machine Learning Applications参考文献 51被引用 27

一句话总结

本文提出了Perceive, Transform, and Act（PTA）——一种基于Transformer的视觉-语言导航架构，通过早期融合与晚期融合策略，整合视觉、语言与离散动作。PTA在R2R基准上达到最先进性能，并在R4R基准上创下新的SOTA纪录，优于先前所有方法，涵盖两种动作设置。

ABSTRACT

Vision-and-Language Navigation (VLN) is a challenging task in which an agent needs to follow a language-specified path to reach a target destination. In this paper, we strive for the creation of an agent able to tackle three key issues: multi-modality, long-term dependencies, and adaptability towards different locomotive settings. To that end, we devise Perceive, Transform, and Act (PTA): a fully-attentive VLN architecture that leaves the recurrent approach behind and the first Transformer-like architecture incorporating three different modalities - natural language, images, and discrete actions for the agent control. In particular, we adopt an early fusion strategy to merge lingual and visual information efficiently in our encoder. We then propose to refine the decoding phase with a late fusion extension between the agent's history of actions and the perception modalities. We experimentally validate our model on two datasets and two different action settings. PTA surpasses previous state-of-the-art architectures for low-level VLN on R2R and achieves the first place for both setups in the recently proposed R4R benchmark. Our code is publicly available at this https URL.

研究动机与目标

• 解决视觉-语言导航（VLN）中的多模态、长时依赖与可适应性挑战。
• 开发一种非循环、完全注意力机制的架构，替代传统VLN智能体中的循环网络。
• 通过早期融合与晚期融合机制，实现语言、视觉与动作模态的有效融合。
• 在不同运动设置与基准环境之间实现强大的泛化能力。

提出的方法

• 模型在编码器中采用早期融合策略，将语言与视觉特征结合，实现联合表征学习。
• 多头自注意力机制处理融合后的多模态嵌入，以捕捉模态间的长程依赖关系。
• 解码器通过晚期融合将智能体的动作历史与感知特征结合，以优化决策过程。
• 该架构端到端可训练，设计上可扩展至多样化的动作空间与导航任务。
• 模型利用位置编码，以保留输入序列中的空间与顺序结构。
• 框架在R2R与R4R两个基准上进行评估，采用两种不同的动作设置，以验证其鲁棒性。

实验结果

研究问题

• RQ1 非循环、基于注意力的架构是否能在视觉-语言导航任务中超越循环模型？
• RQ2 在统一的Transformer框架中，早期与晚期融合策略在整合视觉、语言与动作模态方面效果如何？
• RQ3 所提出的架构是否能在不同动作空间与运动设置下的VLN任务中实现良好泛化？
• RQ4 该模型在具有复杂语言指令的长时程导航任务中，性能提升程度如何？

主要发现

• PTA在R2R基准上达到最先进性能，优于先前的SOTA架构，在低层次VLN设置中表现更优。
• 该模型在R4R基准上两种动作设置下均取得第一名，展现出强大的泛化能力。
• 消融实验验证了早期融合（视觉与语言）与晚期融合（动作与感知）组件的有效性。
• 完全注意力的设计相比循环基线模型，能更好地建模长时依赖关系。
• 该架构在不同运动设置间表现出良好泛化能力，表明其具备高度适应性。
• 代码已公开发布，支持可复现性，并推动多模态VLN领域的进一步研究。