[论文解读] Unsupervised Video Object Segmentation for Deep Reinforcement Learning

Vikash Goel, Jameson Weng+1 more|arXiv (Cornell University)|May 1, 2018

Reinforcement Learning in Robotics被引用 38

一句话总结

本文提出运动导向的强化学习（MOREL），一种无监督方法，利用运动结构技术检测并分割视频中的运动物体，随后利用这些分割结果指导深度强化学习中的策略学习。通过聚焦于运动感知表征，MOREL减少了环境交互需求，并提升了Atari游戏中策略的可解释性。

ABSTRACT

We present a new technique for deep reinforcement learning that automatically detects moving objects and uses the relevant information for action selection. The detection of moving objects is done in an unsupervised way by exploiting structure from motion. Instead of directly learning a policy from raw images, the agent first learns to detect and segment moving objects by exploiting flow information in video sequences. The learned representation is then used to focus the policy of the agent on the moving objects. Over time, the agent identifies which objects are critical for decision making and gradually builds a policy based on relevant moving objects. This approach, which we call Motion-Oriented REinforcement Learning (MOREL), is demonstrated on a suite of Atari games where the ability to detect moving objects reduces the amount of interaction needed with the environment to obtain a good policy. Furthermore, the resulting policy is more interpretable than policies that directly map images to actions or values with a black box neural network. We can gain insight into the policy by inspecting the segmentation and motion of each object detected by the agent. This allows practitioners to confirm whether a policy is making decisions based on sensible information. Our code is available at https://github.com/vik-goel/MOREL.

研究动机与目标

• 通过利用无监督视频物体分割，降低深度强化学习的样本复杂度。
• 通过聚焦于运动检测到的物体而非原始像素，提升策略的可解释性。
• 通过自监督运动分析，使智能体能够识别并优先关注行为相关的运动物体。
• 证明运动感知表征可实现更高效且透明的视频环境中的策略学习。

提出的方法

• 智能体首先在视频帧上使用无监督运动结构技术学习检测运动物体。
• 使用光流估计运动模式，并在无真实标注的情况下识别运动物体。
• 检测到的运动物体被分割，并用作条件输入特征以输入策略网络。
• 策略基于分割后的运动物体进行训练，从而减少对原始像素输入的依赖。
• 该方法在联合框架中整合物体分割与策略学习，鼓励对相关运动实体的关注。
• 该方法在一组Atari游戏中进行评估，智能体以更少的环境交互次数学习到策略。

实验结果

研究问题

• RQ1 无监督视频物体分割能否提升深度强化学习中的样本效率？
• RQ2 与端到端像素学习相比，聚焦于运动检测物体是否能带来更具可解释性的策略？
• RQ3 在无监督条件下，运动结构方法能否有效识别强化学习中行为相关的物体？
• RQ4 运动感知表征学习如何影响Atari环境中策略性能与训练效率？

主要发现

• MOREL通过聚焦于运动检测物体，减少了学习强策略所需的环境交互次数。
• 所得策略更具可解释性，因为决策可追溯至特定分割的运动物体。
• 该方法仅利用视频序列中的无监督运动线索，即在Atari游戏中实现了具有竞争力的性能。
• 智能体通过自监督分析，学会识别并优先关注关键运动物体，如敌人或目标。