[论文解读] Target Driven Visual Navigation with Hybrid Asynchronous Universal Successor Representations

Shamane Siriwardhana, Rivindu Weerasekera+1 more|arXiv (Cornell University)|Nov 27, 2018

Multimodal Machine Learning Applications参考文献 21被引用 4

一句话总结

本文提出了一种新型深度强化学习架构——混合异步通用后继表示（HAUSR），该架构结合通用后继表示（USR）与异步演员-critic训练，实现在复杂、逼真的环境中的目标导向视觉导航。该方法在无需微调的情况下实现了对未见目标的强大泛化能力，并通过迁移学习实现快速适应，在AI2THOR模拟环境中表现出色，对新目标的成功率很高。

ABSTRACT

Being able to navigate to a target with minimal supervision and prior knowledge is critical to creating human-like assistive agents. Prior work on map-based and map-less approaches have limited generalizability. In this paper, we present a novel approach, Hybrid Asynchronous Universal Successor Representations (HAUSR), which overcomes the problem of generalizability to new goals by adapting recent work on Universal Successor Representations with Asynchronous Actor-Critic Agents. We show that the agent was able to successfully reach novel goals and we were able to quickly fine-tune the network for adapting to new scenes. This opens up novel application scenarios where intelligent agents could learn from and adapt to a wide range of environments with minimal human input.

研究动机与目标

• 解决现有基于地图和无地图的视觉导航方法在动态、真实世界环境中泛化能力有限的问题。
• 使深度强化学习智能体在无需重新训练的情况下，能够泛化到多种导航目标。
• 开发一种稳定且可扩展的架构，将通用后继表示与异步训练相结合，以应对复杂视觉任务。
• 通过高效的迁移学习，实现在新环境和新目标上的快速适应。

提出的方法

• HAUSR框架将通用后继表示（USR）与异步优势演员-critic（A3C）训练相结合，以在多个目标之间学习可迁移的状态-动作值函数。
• 采用混合损失函数，结合标准值损失与后继表示（SR）损失，以稳定训练并提升泛化能力。
• 模型学习一种共享的后继表示，该表示捕捉环境动态，且独立于特定奖励，从而实现向新目标的迁移。
• 在逼真模拟环境（AI2THOR）中使用视觉观测和稀疏奖励进行训练。
• 仅对新目标的奖励预测头进行微调，从而实现仅需少量额外训练即可快速适应。
• 该方法将策略学习与奖励设计解耦，使智能体能够利用预先学习的动态表示泛化到未见过的目标。

实验结果

研究问题

• RQ1 深度强化学习智能体是否能在无需额外训练的情况下，泛化到逼真环境中的新型导航目标？
• RQ2 所提出的HAUSR架构在通过迁移学习实现在新目标上的快速适应方面效果如何？
• RQ3 与标准深度强化学习基线相比，通用后继表示是否能提升高维视觉导航任务中的泛化能力？
• RQ4 结合A3C与SR损失的混合训练方案是否能在复杂环境中带来更稳定、更可扩展的学习？

主要发现

• 智能体在AI2THOR浴室环境中成功抵达50个未训练过的新目标位置，且无需任何微调，表现出强大的零样本泛化能力。
• 该模型成功区分了视觉上相似但本质不同的目标，表明其具备稳健的表征学习能力。
• 通过迁移学习，智能体在不到15分钟的微调时间内便学会了导航至此前无法到达的目标，显著减少了训练时间。
• SR损失随时间推移趋于稳定且未降至零，表明部分后继表示学习已足够实现有效泛化。
• 结合值损失与SR损失的混合训练方法带来了稳定的训练动态，在收敛性和泛化能力方面优于标准A3C。
• 该方法成功将USR从原本仅在表格化或简单环境中测试的设定，扩展至复杂模拟环境中的高维连续视觉导航任务。