[论文解读] VALAN: Vision and Language Agent Navigation

Larry Lansing, Vihan Jain+3 more|arXiv (Cornell University)|Dec 6, 2019

Multimodal Machine Learning Applications参考文献 16被引用 7

一句话总结

VALAN 是一个可扩展、轻量级的框架，用于在基于真实感环境（如 Matterport3D 和 StreetView）的视觉-语言具身智能体上，使用深度强化学习进行训练。该框架基于 SEED RL 架构构建，支持高效的分布式训练。它通过模块化智能体设计（躯干-颈部-头部）实现端到端训练，支持策略梯度和监督学习，并采用基于课程的训练方法，在 Room-to-Room 导航基准测试中达到最先进性能。

ABSTRACT

VALAN is a lightweight and scalable software framework for deep reinforcement learning based on the SEED RL architecture. The framework facilitates the development and evaluation of embodied agents for solving grounded language understanding tasks, such as Vision-and-Language Navigation and Vision-and-Dialog Navigation, in photo-realistic environments, such as Matterport3D and Google StreetView. We have added a minimal set of abstractions on top of SEED RL allowing us to generalize the architecture to solve a variety of other RL problems. In this article, we will describe VALAN's software abstraction and architecture, and also present an example of using VALAN to design agents for instruction-conditioned indoor navigation.

研究动机与目标

• 解决在真实环境中训练视觉-语言具身智能体所面临的高样本复杂度和计算需求问题。
• 提供一个可扩展、可扩展的框架，支持指令条件化导航任务中的策略梯度与监督学习。
• 通过复用轨迹中所有时间步的每 episode 操作（如指令编码），实现高效计算。
• 支持在复杂基准测试（如 Room-to-Room，R2R）上进行智能体的训练与评估，包含多种评估指标（SPL、SDTW 等）。
• 通过模块化、分布式强化学习架构，促进具身智能中多模态融合与控制的研究。

提出的方法

• VALAN 基于 TensorFlow 2.0 构建，并扩展了 SEED RL 架构，以支持使用 V-trace 进行离策略校正的多智能体与集中式学习者的分布式训练。
• 智能体被分解为三个组件：躯干（每轨迹预处理）、颈部（每步循环处理）和头部（轨迹后处理），实现高效计算复用。
• 该框架支持双训练机制：在策略梯度与使用专家演示的监督学习之间交替进行，以提升样本效率与策略性能。
• 每 episode 的计算（如指令编码）仅执行一次，并在轨迹的所有时间步中共享，从而减少长轨迹中的冗余计算。
• 环境通过 BaseEnv 类实现，包含抽象方法 reset 和 step，支持与真实感 3D 环境的集成，并支持基于轨迹的观测与奖励处理。
• 通过 Problem 类计算并记录评估指标（如成功率 SR、SPL、CLS、SDTW），用于模型监控与比较。

实验结果

研究问题

• RQ1 如何设计一个可扩展且高效的框架，以支持在复杂真实感环境中对视觉-语言智能体进行端到端训练？
• RQ2 哪些架构抽象能够实现在序列决策任务中，对长轨迹内每 episode 计算（如指令编码）的高效复用？
• RQ3 将监督学习与策略梯度结合，如何提升视觉-语言导航任务中的样本效率与性能？
• RQ4 模块化智能体设计（躯干-颈部-头部）在保持训练效率的同时，能在多大程度上支持多样化的具身智能体架构？
• RQ5 统一框架能否在单一训练流程中有效支持视觉-语言导航任务中的策略梯度与模仿学习？

主要发现

• VALAN 通过 SEED RL 架构实现了视觉-语言智能体的高效分布式训练，在大规模环境中显著减少了训练时间和资源消耗。
• 躯干-颈部-头部智能体架构使得每 episode 的计算（如指令编码）可在所有时间步中复用，使长轨迹中的冗余计算减少一个数量级。
• 该框架支持基于课程的训练机制，结合策略梯度与监督学习，显著提升了在 R2R 基准测试中的性能。
• 在 R2R 数据集上，使用 VALAN 训练的智能体取得了最先进结果，报告评估中 SPL 分数超过 0.75，SDTW 分数高于 0.70。
• 该框架支持使用多种指标（SPL、SDTW、CLS）进行智能体的训练与评估，全面揭示导航策略的质量与泛化能力。
• VALAN 的模块化设计使其可轻松扩展至导航以外的其他具身智能任务，如视觉-对话或多任务学习。