[论文解读] The Road to Know-Where: An Object-and-Room Informed Sequential BERT for Indoor Vision-Language Navigation

Yuankai Qi, Zizheng Pan+4 more|arXiv (Cornell University)|Apr 9, 2021

Multimodal Machine Learning Applications被引用 12

一句话总结

该论文提出 ORIST，一种用于室内视觉语言导航的序列 BERT 模型，通过在物体级和词级对视觉-语言导航输入进行编码，实现细粒度的视觉-语言对齐，同时结合时间上下文、相对方向和房间类型预测。该模型在 REVERIE（18.97 SPL）、NDH（3.17 GP）和 R2R（52% SPL）基准上达到最先进性能，使智能体能够‘知道物体和目标在空间中的位置’。

ABSTRACT

Vision-and-Language Navigation (VLN) requires an agent to find a path to a remote location on the basis of natural-language instructions and a set of photo-realistic panoramas. Most existing methods take the words in the instructions and the discrete views of each panorama as the minimal unit of encoding. However, this requires a model to match different nouns (e.g., TV, table) against the same input view feature. In this work, we propose an object-informed sequential BERT to encode visual perceptions and linguistic instructions at the same fine-grained level, namely objects and words. Our sequential BERT also enables the visual-textual clues to be interpreted in light of the temporal context, which is crucial to multi-round VLN tasks. Additionally, we enable the model to identify the relative direction (e.g., left/right/front/back) of each navigable location and the room type (e.g., bedroom, kitchen) of its current and final navigation goal, as such information is widely mentioned in instructions implying the desired next and final locations. We thus enable the model to know-where the objects lie in the images, and to know-where they stand in the scene. Extensive experiments demonstrate the effectiveness compared against several state-of-the-art methods on three indoor VLN tasks: REVERIE, NDH, and R2R. Project repository: https://github.com/YuankaiQi/ORIST

研究动机与目标

• 为解决现有视觉语言导航（VLN）方法在粗粒度离散级别（例如全景图和词语）编码语言与视觉信息的局限性，该局限性阻碍了语言地标与视觉实体之间的细粒度对齐。
• 通过采用序列 BERT 架构建模导航决策中的时间上下文，提升在未见环境中的泛化能力。
• 通过显式预测相对方向（左/右/前/后）和房间类型（如厨房、卧室）作为辅助信号，提升导航准确性。
• 通过整合视觉语言线索与空间推理，使智能体能够‘知道物体在场景中的位置’，并‘知道它要去哪里’。

提出的方法

• 模型使用物体级初始嵌入模块，从物体提议中提取视觉特征，并将其与指令中的对应词语对齐。
• 序列 BERT 编码器以联合、双向方式处理视觉和文本标记，实现跨模态注意力和跨步骤的上下文感知表征学习。
• 多任务头预测每个可导航视角的相对方向、下一个位置的房间类型以及最终目标的房间类型，并为每一项任务设置独立损失函数。
• 模型通过语言建模损失、方向损失 ℒᴰ，以及两个房间类型损失（下一个房间类型 ℒᴿₙ 和目标房间类型 ℒᴿ_g）联合训练。
• 所有组件在导航步骤间共享，支持端到端训练，并实现在时间上的持续推理。
• 该架构支持在多个视觉语言导航任务（包括 R2R、NDH 和 REVERIE）上进行联合预训练与微调。

实验结果

研究问题

• RQ1 与视图级编码相比，在物体级和词级建模视觉-语言交互是否能提升对齐效果和导航性能？
• RQ2 通过序列 BERT 架构引入时间上下文，是否能增强多轮视觉语言导航任务中的决策能力？
• RQ3 像相对方向和房间类型这样的辅助信号，在多大程度上能提升在未见环境中的泛化能力？
• RQ4 方向和房间类型预测在多大程度上有助于减少在已见环境上的过拟合，同时提升在未见环境中的性能？

主要发现

• 所提出的 ORIST 模型在 REVERIE 基准上达到 18.97 SPL 和 9.28 RGSPL，优于先前最先进方法。
• 在 NDH 基准上，ORIST 达到 3.17 GP，展现出在视觉对话导航任务中的强劲性能。
• 在 R2R 基准上，ORIST 达到 52% SPL，表明其在多样化室内环境中的强大泛化能力。
• 方向损失 ℒᴰ 在所有划分上均持续提升性能，尤其在未见环境中表现更优，表明模型对候选目标的区分能力更强。
• 房间类型损失在已见划分上提升性能，但在 REVERIE 的未见划分上可能导致过拟合，可能是因为指令中缺乏对下一个房间的参考信息。
• 定性注意力可视化结果表明，模型能正确对齐指令标记（如‘bathroom’）与相关视觉对象（如‘sink’），并有效利用空间线索进行动作选择。