[论文解读] Unsupervised Visuomotor Control through Distributional Planning Networks

Tianhe Yu, Gleb Shevchuk+2 more|arXiv (Cornell University)|Feb 14, 2019

Reinforcement Learning in Robotics被引用 9

一句话总结

本文提出分布规划网络（DPN），一种无监督方法，从无标签交互数据中学习以控制为中心的度量空间，使机器人仅凭目标图像即可自主评估向目标前进的进度。该方法在模拟和真实世界视觉-运动任务中均优于先前的无监督方法，在无需人类提供奖励函数的情况下实现了成功的强化学习。

ABSTRACT

While reinforcement learning (RL) has the potential to enable robots to autonomously acquire a wide range of skills, in practice, RL usually requires manual, per-task engineering of reward functions, especially in real world settings where aspects of the environment needed to compute progress are not directly accessible. To enable robots to autonomously learn skills, we instead consider the problem of reinforcement learning without access to rewards. We aim to learn an unsupervised embedding space under which the robot can measure progress towards a goal for itself. Our approach explicitly optimizes for a metric space under which action sequences that reach a particular state are optimal when the goal is the final state reached. This enables learning effective and control-centric representations that lead to more autonomous reinforcement learning algorithms. Our experiments on three simulated environments and two real-world manipulation problems show that our method can learn effective goal metrics from unlabeled interaction, and use the learned goal metrics for autonomous reinforcement learning.

研究动机与目标

• 在视觉机器人领域实现无需人类提供奖励函数的自主强化学习。
• 从无标签交互数据中学习一种以控制为中心的度量空间，以反映向目标前进的进度。
• 解决基于像素距离和基于密度的表征在衡量目标进度方面的局限性。
• 开发一种方法，仅使用单张目标图像即可在多种操作任务中实现泛化。
• 通过学习与动作结果对齐而非视觉干扰的度量，实现更快、更可靠的强化学习。

提出的方法

• 该方法在度量空间中优化动作序列，使其在到达最终状态时获得二元奖励函数的奖励。
• 显式优化一种分布度量，以捕捉动作如何导致状态变化，忽略与动作无关的视觉变化。
• 该方法利用无监督交互数据，训练神经网络以预测在目标条件度量下动作序列的可能性。
• 通过从真实世界交互中学习，而非从模拟专家演示中学习，对通用规划网络进行了泛化。
• 该度量被训练为使达到目标状态的序列具有高可能性，从而促进以控制为中心的表征。
• 该方法利用一个原则：当最终状态为目标时，任何动作序列都是最优的，从而实现自监督。

实验结果

研究问题

• RQ1 机器人能否从无标签视觉交互中学习到有意义的目标度量，而无需任何奖励塑造？
• RQ2 一种考虑动作引起的状态变化的以控制为中心的度量，是否在视觉-运动控制中优于通用表征学习？
• RQ3 这种度量能否在真实世界操作任务中实现有效且样本高效的强化学习？
• RQ4 与反向模型和自编码器相比，所学度量在区分任务相关与干扰视觉特征方面表现如何？
• RQ5 该度量能否在不同任务（如抓取、推动和绳索操作）之间实现泛化？

主要发现

• DPN 在仅使用无标签数据和单张目标图像的情况下，成功实现了在模拟抓取、推动和绳索操作任务中的自主强化学习。
• 在真实世界的推动任务中，DPN 度量使智能体能够可靠地将物体推到目标位置，而反向模型因错误的奖励塑造而失败。
• 在推动任务中，DPN 度量正确识别了后期图像之间的相似性，而反向模型错误地将早期图像关联到较小的潜在距离，导致策略学习效果差。
• 该方法在仿真和真实世界实验中均比最先进的无监督目标表征方法收敛更快、成功率更高。
• DPN 度量有效忽略了干扰物和光照变化，专注于任务相关的特征（如物体位置和形状）。
• 该方法在不同相机角度和视觉条件下表现出鲁棒性，展示了超越特定视觉外观的泛化能力。