[论文解读] Sub-Instruction Aware Vision-and-Language Navigation

Yicong Hong, Cristian Rodríguez-Opazo+2 more|arXiv (Cornell University)|Apr 6, 2020

Multimodal Machine Learning Applications参考文献 36被引用 8

一句话总结

本文提出了一种子指令感知模块，用于视觉-语言导航任务，通过实现对单个子指令的细粒度注意力以及采用移动机制追踪进展，提升了智能体的性能。通过引入带有子指令和子路径标注的细粒度R2R（FGR2R）数据集，该方法在四种SOTA智能体上均提升了成功率达到，同时增强了智能体在每一步决策过程中的导航准确性和可追溯性。

ABSTRACT

Vision-and-language navigation requires an agent to navigate through a real 3D environment following natural language instructions. Despite significant advances, few previous works are able to fully utilize the strong correspondence between the visual and textual sequences. Meanwhile, due to the lack of intermediate supervision, the agent's performance at following each part of the instruction cannot be assessed during navigation. In this work, we focus on the granularity of the visual and language sequences as well as the traceability of agents through the completion of an instruction. We provide agents with fine-grained annotations during training and find that they are able to follow the instruction better and have a higher chance of reaching the target at test time. We enrich the benchmark dataset Room-to-Room (R2R) with sub-instructions and their corresponding paths. To make use of this data, we propose effective sub-instruction attention and shifting modules that select and attend to a single sub-instruction at each time-step. We implement our sub-instruction modules in four state-of-the-art agents, compare with their baseline models, and show that our proposed method improves the performance of all four agents. We release the Fine-Grained R2R dataset (FGR2R) and the code at https://github.com/YicongHong/Fine-Grained-R2R.

研究动机与目标

• 为解决视觉-语言导航中缺乏中间监督的问题，即智能体无法被评估是否正确遵循了指令的各个部分。
• 通过引入细粒度的子指令标注，提升视觉观测与语言指令之间的对应关系。
• 通过实现每一步的指令完成情况追踪，提升智能体的可追溯性。
• 证明子指令级别的监督可提升真实3D环境中的成功率达到更高水平，并实现更好的语义对齐。
• 提供一个新的基准（FGR2R）和模块化组件，以支持未来视觉-语言导航研究。

提出的方法

• 利用Stanford NLP解析器中的语法关系，将长指令分割为子指令。
• 子指令注意力机制使智能体能够基于视觉-语言对齐，仅关注当前一个子指令。
• 移动模块用于判断当前子指令是否已完成，从而决定是否切换到下一个子指令。
• 该方法具有模块化设计，可集成到现有视觉-语言导航智能体中，包括基于模仿学习和强化学习的模型。
• FGR2R数据集通过为真实路径标注对应子指令构建而成，实现细粒度监督。
• 通过nDTW和到目标的距离等指标评估性能，以衡量子指令级别轨迹的准确性。

实验结果

研究问题

• RQ1 子指令级别的监督是否能提升视觉-语言导航智能体的成功率？
• RQ2 所提出的子指令注意力与移动机制是否能增强智能体逐步遵循指令的能力？
• RQ3 导航过程在多大程度上可实现子指令级别的可追溯与评估？
• RQ4 智能体在不同类型子指令上的表现如何变化，例如简单动作与复杂、基于物体的指令？
• RQ5 该方法能否在多种SOTA智能体上泛化，包括基于模仿学习和强化学习的模型？

主要发现

• 所有四种SOTA智能体（Seq2Seq、Self-Monitoring、R2R-IL和R2R-RL）在引入子指令模块后，成功率达到提升。
• 表现最佳的智能体在测试集上达到了44.1%的成功率，表明在各类模型上均实现了稳定提升。
• 移动模块的F1得分最高达到0.331，表明在子指令完成检测方面仍有改进空间。
• 智能体在简单直接的子指令上表现显著更优，如“沿着楼梯走下去”或“离开卧室”，而在复杂或涉及物体指代的指令上表现较差，如“经过水槽、冰箱和烤箱”。
• 子指令簇的平均目标距离较高（例如7.36米）时，与较差的语义对齐相关，尤其在涉及条件动作或多物体的指令中更为明显。
• 子指令的分层聚类分析显示，频率、视点数量与性能之间无明显相关性，表明指令复杂度和语义特征是更优的智能体成功预测因子。