[论文解读] The Regretful Agent: Heuristic-Aided Navigation through Progress Estimation

Chih‐Yao Ma, Zuxuan Wu+3 more|arXiv (Cornell University)|Mar 5, 2019

Multimodal Machine Learning Applications参考文献 27被引用 14

一句话总结

本文提出了一种后悔代理（regretful agent）用于视觉-语言导航（vision-and-language navigation），利用可学习的进度监控器作为启发式方法，引导贪婪搜索，从而避免束搜索（beam search）带来的计算负担。该方法引入了后悔模块（Regret Module）以实现动态回溯，并通过进度标记器（Progress Marker）减少对低进度状态的重复访问，实现了最先进的性能表现，在测试服务器上成功率达到5%的提升，SPL指标提高8%。

ABSTRACT

As deep learning continues to make progress for challenging perception tasks, there is increased interest in combining vision, language, and decision-making. Specifically, the Vision and Language Navigation (VLN) task involves navigating to a goal purely from language instructions and visual information without explicit knowledge of the goal. Recent successful approaches have made in-roads in achieving good success rates for this task but rely on beam search, which thoroughly explores a large number of trajectories and is unrealistic for applications such as robotics. In this paper, inspired by the intuition of viewing the problem as search on a navigation graph, we propose to use a progress monitor developed in prior work as a learnable heuristic for search. We then propose two modules incorporated into an end-to-end architecture: 1) A learned mechanism to perform backtracking, which decides whether to continue moving forward or roll back to a previous state (Regret Module) and 2) A mechanism to help the agent decide which direction to go next by showing directions that are visited and their associated progress estimate (Progress Marker). Combined, the proposed approach significantly outperforms current state-of-the-art methods using greedy action selection, with 5% absolute improvement on the test server in success rates, and more importantly 8% on success rates normalized by the path length. Our code is available at https://github.com/chihyaoma/regretful-agent .

研究动机与目标

• 为解决视觉-语言导航（VLN）中束搜索效率低下的问题，该方法旨在提升其在实际机器人应用中的可行性。
• 通过引入可学习的回溯机制与进度估计，实现有效的贪婪动作选择。
• 通过记忆过往访问记录与进度估计，减少冗余探索，从而提升成功概率与路径效率。
• 开发一种端到端可训练的架构，在无需束搜索的前提下，超越现有贪婪方法的性能。

提出的方法

• 该代理使用来自先前工作的可学习进度监控器作为启发式方法，用于估计距离目标的接近程度，数值越高表示进度越优。
• 引入后悔模块（Regret Module），基于视觉与语言历史学习何时应回溯至先前状态，取代固定阈值。
• 进度标记器（Progress Marker）机制通过在视觉状态向量中加入过往的进度估计值，以减少对低进度位置的重复访问。
• 模型通过模仿学习进行端到端训练，进度监控器为动作选择提供密集监督。
• 回溯决策具有可微性，使网络可通过梯度下降学习最优的回滚时机。
• 推理阶段采用贪婪解码，避免束搜索带来的指数级计算成本，同时保持高性能。

实验结果

研究问题

• RQ1 基于进度估计的可学习启发式方法是否能提升视觉-语言任务中的贪婪导航性能？
• RQ2 智能体如何学习在何时回溯，以避免陷入死胡同？
• RQ3 结合对过往访问记录及其进度估计的记忆，能否减少冗余探索？
• RQ4 将进度监控器作为启发式方法，是否能带来比贪婪基线更高的成功率与路径效率？

主要发现

• 与使用束搜索的当前最先进方法相比，该代理在测试服务器上的成功率实现了5%的绝对提升。
• SPL（Success-Precision-Length）指标提升了8%，该指标综合衡量了成功与路径效率。
• 通过进度标记器与后悔模块的学习，该代理在避免冗余探索方面优于贪婪基线。
• 消融实验表明，后悔模块与进度标记器均对性能提升有显著贡献。
• 该代理通过进度监控器引导回溯与重新进入有希望的路径，成功导航了具有歧义的指令。
• 失败案例显示，尽管罕见，错误的回溯决策仍可能导致失败，凸显了准确后悔预测的重要性。