[论文解读] Predictive Coding for Boosting Deep Reinforcement Learning with Sparse Rewards

Xingyu Lu, Stas Tiomkin+1 more|arXiv (Cornell University)|Dec 21, 2019

Reinforcement Learning in Robotics参考文献 32被引用 4

一句话总结

本文提出使用预测编码来学习无监督表征，以在稀疏奖励的深度强化学习中塑造奖励。通过对比预测编码（Contrastive Predictive Coding）最大化连续状态之间的互信息，该方法生成对噪声具有鲁棒性、感知环境动态的奖励信号，在机器人操控、导航和运动控制任务中实现了与人工设计奖励相当的样本效率。

ABSTRACT

While recent progress in deep reinforcement learning has enabled robots to learn complex behaviors, tasks with long horizons and sparse rewards remain an ongoing challenge. In this work, we propose an effective reward shaping method through predictive coding to tackle sparse reward problems. By learning predictive representations offline and using these representations for reward shaping, we gain access to reward signals that understand the structure and dynamics of the environment. In particular, our method achieves better learning by providing reward signals that 1) understand environment dynamics 2) emphasize on features most useful for learning 3) resist noise in learned representations through reward accumulation. We demonstrate the usefulness of this approach in different domains ranging from robotic manipulation to navigation, and we show that reward signals produced through predictive coding are as effective for learning as hand-crafted rewards.

研究动机与目标

• 解决稀疏奖励深度强化学习中的样本效率低下问题。
• 开发一种利用无监督表征学习的奖励塑造方法，无需领域特定的奖励工程。
• 创建对学习表征中的噪声具有鲁棒性并强调环境动态的奖励信号。
• 证明基于预测编码的奖励塑造在复杂控制任务中的表现可与人工设计奖励相媲美。

提出的方法

• 该方法使用对比预测编码（CPC）学习表征，以最大化轨迹中连续状态之间的互信息。
• 从通过随机或探索性策略收集的离线轨迹中提取预测特征。
• 在表征空间中利用这些特征塑造奖励，使智能体在训练过程中接收来自原始观测的密集反馈。
• 奖励塑造以密集、与稀疏奖励无关的信号形式应用，实现表征学习与策略训练的解耦。
• 该方法与标准深度强化学习算法（如PPO）兼容，采用两阶段流程：先离线预训练编码器，再使用塑造后的奖励进行在线强化学习。
• 通过避免直接使用嵌入作为特征，而仅将其用于奖励塑造，增强了对噪声的鲁棒性，降低了对不完美表征的敏感性。

实验结果

研究问题

• RQ1 无监督预测编码表征是否能在稀疏奖励强化学习中提供有效的奖励信号？
• RQ2 基于预测编码的奖励塑造在样本效率和最终性能方面与人工设计奖励相比如何？
• RQ3 预测编码表征是否能在无显式监督的情况下泛化到不同纹理和环境变化？
• RQ4 使用预测特征进行奖励塑造是否优于将其用作策略训练中的状态特征？
• RQ5 在长时 horizon 且探索受限的环境中，该方法表现如何？

主要发现

• 所提方法在机器人操控、导航和运动控制任务中实现了与人工设计奖励相当的性能，表现出同等的样本效率。
• 使用预测编码特征进行奖励塑造显著优于将其用作状态特征，尤其在噪声较大或表征训练不足的场景下。
• 该方法对背景纹理变化表现出鲁棒性，嵌入按物理状态（如机械臂角度）聚类，而非视觉纹理，表明其有效抽象了动态特性。
• 通过预测编码进行奖励塑造使在有限探索环境下也能实现稳定学习，在Reacher和Pendulum等环境中优于标准稀疏奖励训练。
• 通过将表征学习与策略训练解耦，降低了对噪声表征的敏感性，利用轨迹间奖励累积提升了稳定性。
• 该方法在多样化环境中均表现有效，包括高维观测（如像素输入）的环境，且无需架构或算法修改。