[论文解读] One Step at a Time: Long-Horizon Vision-and-Language Navigation with Milestones

Chan Hee Song, Jihyung Kil+4 more|arXiv (Cornell University)|Feb 14, 2022

Multimodal Machine Learning Applications被引用 4

一句话总结

该论文提出 M-Track，一种面向长时程视觉-语言导航（VLN）任务的、与模型无关的基于里程碑的进度追踪方法，通过显式监控子任务进展来提升成功率。该方法利用 BERT-CRF 里程碑构建器从指令中提取导航与交互里程碑，并通过视觉定位验证进度，相较于强基线模型在 ALFRED 数据集上实现了 33% 和 52% 的相对成功率提升。

ABSTRACT

We study the problem of developing autonomous agents that can follow human instructions to infer and perform a sequence of actions to complete the underlying task. Significant progress has been made in recent years, especially for tasks with short horizons. However, when it comes to long-horizon tasks with extended sequences of actions, an agent can easily ignore some instructions or get stuck in the middle of the long instructions and eventually fail the task. To address this challenge, we propose a model-agnostic milestone-based task tracker (M-TRACK) to guide the agent and monitor its progress. Specifically, we propose a milestone builder that tags the instructions with navigation and interaction milestones which the agent needs to complete step by step, and a milestone checker that systemically checks the agent's progress in its current milestone and determines when to proceed to the next. On the challenging ALFRED dataset, our M-TRACK leads to a notable 33% and 52% relative improvement in unseen success rate over two competitive base models.

研究动机与目标

• 为解决长时程视觉-语言导航中智能体因缺乏进度感知而跳过或卡在子任务上的挑战。
• 通过引入显式的里程碑式进度追踪，提升智能体在复杂多步家庭任务中的表现。
• 开发一种与模型无关的框架，可仅通过极少的架构修改集成到任意 VLN 智能体中。
• 通过里程碑验证主动拒绝错误动作，从而在执行前预防子任务失败。
• 证明显式进度监控在长时程任务中显著优于隐式监控。

提出的方法

• 里程碑构建器使用 BERT-CRF 序列标注模型，从子任务指令中提取目标物体和动作类型（导航或交互）。
• 里程碑检查器利用目标检测模型将提取的目标在视觉环境中进行定位，并通过验证接近性或交互动作来确认里程碑是否完成。
• 追踪器仅动态选择当前子任务的指令输入智能体，使注意力集中于当前活跃的里程碑。
• 采用主动动作拒绝机制，阻止违反里程碑约束的动作（如与错误物体交互），从而防止子任务失败。
• 系统仅依赖语言指令、视觉观测和智能体动作运行，完全独立于智能体内部架构。
• 该方法在 ALFRED 基准上进行评估，其任务平均每个任务包含 50 个动作。

Figure 1 : Illustration of our M-Track approach . We show an ALFRED task [ 46 ] , which consists of an overall goal (text on the top) and six subtasks (text below each image). The blue / red text box within each image is our extracted navigation / interaction milestones from the subtask instructions

实验结果

研究问题

• RQ1 显式基于里程碑的进度追踪能否提升长时程视觉-语言导航的成功率？
• RQ2 在复杂多步任务中，基于里程碑的监控与隐式进度监控相比表现如何？
• RQ3 基于里程碑验证的主动动作拒绝在多大程度上减少了子任务失败？
• RQ4 里程碑构建器从自然语言指令中提取有意义的导航与交互里程碑的准确性如何？
• RQ5 M-Track 框架能否在不修改架构的前提下，有效集成到多种 VLN 智能体架构中？

主要发现

• 在 ALFRED 基准上，M-Track 相较于 VLN∘BERT-L 模型实现了 33% 的未见任务成功率相对提升。
• 在 ALFRED 基准上，M-Track 相较于 VLN∘BERT-L 模型实现了 52% 的未见任务成功率相对提升。
• 里程碑检查器在里程碑完成检测任务上优于二分类器基线，表明显式、环境对齐的验证具有优势。
• 使用真实里程碑的上限性能仅比 M-Track 的预测里程碑性能略有提升，表明里程碑构建器具有高度准确性。
• 案例研究显示，M-Track 有效防止了子任务跳过和错误物体交互，使原本失败的基线模型得以完成完整任务。
• 与模型无关的设计使 M-Track 可无缝集成到现有 VLN 智能体中，对智能体输入或动作流程仅需极少修改。

Figure 2 : Overview of the milestone checking process . Milestones are extracted from the current low-level instruction by our milestone builder (§ 4.1.1 ). After an action is predicted, our milestone checker (§ 4.1.2 ) examines, based on objects with reachability information (text in images) from i