[论文解读] Visual Semantic Planning using Deep Successor Representations

Yuke Zhu, Daniel Gordon+6 more|arXiv (Cornell University)|May 23, 2017

Human Pose and Action Recognition参考文献 1被引用 29

一句话总结

本文提出了一种基于深度后继表示的视觉语义规划框架，使智能体能够在动态环境中从视觉观测中学习高层级动作序列。通过结合模仿学习与深度后继表示，该方法在THOR环境中的多样化任务中实现了接近最优的性能，展示了强大的跨任务泛化能力以及对物体、动作和可及性的鲁棒视觉理解。

ABSTRACT

A crucial capability of real-world intelligent agents is their ability to plan a sequence of actions to achieve their goals in the visual world. In this work, we address the problem of visual semantic planning: the task of predicting a sequence of actions from visual observations that transform a dynamic environment from an initial state to a goal state. Doing so entails knowledge about objects and their affordances, as well as actions and their preconditions and effects. We propose learning these through interacting with a visual and dynamic environment. Our proposed solution involves bootstrapping reinforcement learning with imitation learning. To ensure cross task generalization, we develop a deep predictive model based on successor representations. Our experimental results show near optimal results across a wide range of tasks in the challenging THOR environment.

研究动机与目标

• 为解决视觉语义规划的挑战——从视觉输入预测动作序列，以实现在动态、类现实世界环境中的目标。
• 通过利用基于交互的学习方法，克服朴素探索和高维视觉状态空间的局限性。
• 通过学习环境动态和任务奖励的可迁移表征，实现跨任务泛化。
• 通过主动交互整合感知与动作，从经验中学习物体可及性、动作先决条件和效果。
• 开发一种可扩展的、基于仿真环境的框架，实现跨多样化任务的泛化，而无需针对每项任务进行重新训练。

提出的方法

• 该方法使用深度后继表示（SR）模型，将环境动态与特定任务的奖励解耦，从而实现任务间的迁移。
• 结合模仿学习以引导探索并指导策略学习，减少强化学习中的样本效率低下问题。
• 训练一个深度神经网络以预测后继状态和奖励，采用目标网络进行稳定训练，使用类似双DQN的更新策略。
• 通过合并相似动作（例如，移动至相邻位置、拾取相同类型的物体），对动作空间进行抽象，降低复杂度，同时保留任务语义。
• 在执行前使用PDDL形式化语言验证动作的先决条件，确保仅尝试可行的动作。
• 该框架在THOR环境中进行评估，智能体通过交互学习，并在25项不同难度的多样化任务中实现泛化。

实验结果

研究问题

• RQ1 深度后继表示是否能够在高维、部分可观测的视觉环境中实现有效的视觉语义规划？
• RQ2 结合模仿学习与后继表示，在视觉规划任务中能否显著提升样本效率和收敛性能？
• RQ3 利用后继表示框架，先前解决任务的知识在多大程度上可以迁移到新的、未见过的任务中？
• RQ4 该模型是否能够仅通过视觉交互就学习并泛化物体可及性、动作先决条件和效果？
• RQ5 所提出的方法是否在模拟环境中实现了对一系列复杂、类现实世界任务的近最优性能？

主要发现

• 所提出的方法在THOR环境中评估的全部25项任务中均实现了接近最优的性能，涵盖简单、中等和困难难度级别。
• 深度后继表示实现了强大的跨任务泛化能力，从一项任务训练的策略可有效迁移到新的、未见过的任务中。
• 模仿学习的整合显著提升了样本效率，与纯强化学习相比，收敛所需的episode数显著减少。
• 模型成功编码了物体、动作及其可及性的视觉知识，这在复杂任务中的定性行为表现中得到了验证。
• 消融实验确认，后继表示对于迁移性能至关重要，其表现优于不包含该组件的基线方法。
• 该方法在处理变化的视觉观测和复杂动作序列（如导航、操作和将物体放置到目标位置）方面表现出鲁棒性。