[论文解读] PlayVirtual: Augmenting Cycle-Consistent Virtual Trajectories for Reinforcement Learning

Tao Yu, Cuiling Lan+4 more|arXiv (Cornell University)|Jun 8, 2021

Reinforcement Learning in Robotics被引用 14

一句话总结

PlayVirtual 提出了一种自监督方法，通过在潜在空间中生成循环一致的虚拟状态-动作轨迹，提升深度强化学习中的数据效率。通过使用前向和后向动态模型，从增强动作中预测未来和过去的状态，利用循环一致性来正则化特征表示学习，在仅使用 100,000 次环境交互的情况下，实现了 Atari 和 DMControl 上的最先进性能。

ABSTRACT

Learning good feature representations is important for deep reinforcement learning (RL). However, with limited experience, RL often suffers from data inefficiency for training. For un-experienced or less-experienced trajectories (i.e., state-action sequences), the lack of data limits the use of them for better feature learning. In this work, we propose a novel method, dubbed PlayVirtual, which augments cycle-consistent virtual trajectories to enhance the data efficiency for RL feature representation learning. Specifically, PlayVirtual predicts future states in the latent space based on the current state and action by a dynamics model and then predicts the previous states by a backward dynamics model, which forms a trajectory cycle. Based on this, we augment the actions to generate a large amount of virtual state-action trajectories. Being free of groudtruth state supervision, we enforce a trajectory to meet the cycle consistency constraint, which can significantly enhance the data efficiency. We validate the effectiveness of our designs on the Atari and DeepMind Control Suite benchmarks. Our method achieves the state-of-the-art performance on both benchmarks.

研究动机与目标

• 解决在仅有有限真实轨迹可用时，深度强化学习中的数据效率问题。
• 在不依赖真实状态监督的情况下，提升特征表示学习。
• 通过循环一致预测生成多样化虚拟状态-动作轨迹，提升数据效率。
• 设计一种自监督辅助任务，同时对特征编码器和动态模型进行正则化。
• 在仅使用极少真实世界经验的情况下，实现在标准强化学习基准上的最先进性能。

提出的方法

• 前向动态模型从当前潜在状态和采样动作预测未来潜在状态。
• 后向动态模型从预测的未来状态和相同动作序列预测过去潜在状态。
• 通过组合前向和后向预测生成虚拟轨迹，形成一个循环。
• 通过最小化原始当前状态与通过后向预测重建状态之间的距离，强制实现循环一致性。
• 在潜在特征上使用对比损失并引入投影头，以提升表示质量。
• 该方法与主强化学习策略端到端联合训练，仅使用奖励信号和循环一致性损失。

实验结果

研究问题

• RQ1 在无真实状态监督的情况下，虚拟轨迹生成能否提升深度强化学习中的数据效率？
• RQ2 当真实数据稀缺时，循环一致性在正则化特征表示方面有多有效？
• RQ3 在潜在空间中增强动作是否比标准数据增强带来更好的策略学习效果？
• RQ4 虚拟轨迹的最优数量是多少，以在正则化和优化稳定性之间取得平衡？
• RQ5 在潜在空间或投影空间中选择不同的距离度量对性能有何影响？

主要发现

• 在 Atari-100k 上，PlayVirtual 达到了 47.2% 的人类性能归一化得分，比基线高出 10.1%，达到最先进性能。
• 在 DMControl-100k 上，PlayVirtual 的中位数得分为 797.0，比基线高出 70.5 分。
• 在 Atari 上，使用投影空间 ($\mathcal{M}_{proj}$) 作为循环一致性损失的输入，相比原始潜在空间 ($\mathcal{M}_{latent}$) 可实现 2.4% 的性能提升。
• 虚拟轨迹的最优数量 ($M$) 约为 $3|\mathcal{A}|$，当 $M$ 太大或太小时，性能均会下降。
• 主要性能增益来自对特征编码器的正则化，而非动态模型，表明改进的表示学习是关键因素。
• 该方法显著提升了数据效率，在仅使用 100,000 次环境交互的情况下即达到最先进结果，其性能在 Atari 上已接近人类水平。