[论文解读] Temporal Predictive Coding For Model-Based Planning In Latent Space

Tung Nguyen, Rui Shu+3 more|arXiv (Cornell University)|Jun 14, 2021

Reinforcement Learning in Robotics被引用 5

一句话总结

本文提出时序预测编码（Temporal Predictive Coding, TPC）用于潜在空间中的基于模型强化学习，采用信息论目标，优先关注时序可预测、与任务相关的特征，而非静态或无关的背景信息。该方法在复杂背景的DMControl环境中优于最先进模型，同时在标准基准测试中保持竞争力。

ABSTRACT

High-dimensional observations are a major challenge in the application of model-based reinforcement learning (MBRL) to real-world environments. To handle high-dimensional sensory inputs, existing approaches use representation learning to map high-dimensional observations into a lower-dimensional latent space that is more amenable to dynamics estimation and planning. In this work, we present an information-theoretic approach that employs temporal predictive coding to encode elements in the environment that can be predicted across time. Since this approach focuses on encoding temporally-predictable information, we implicitly prioritize the encoding of task-relevant components over nuisance information within the environment that are provably task-irrelevant. By learning this representation in conjunction with a recurrent state space model, we can then perform planning in latent space. We evaluate our model on a challenging modification of standard DMControl tasks where the background is replaced with natural videos that contain complex but irrelevant information to the planning task. Our experiments show that our model is superior to existing methods in the challenging complex-background setting while remaining competitive with current state-of-the-art models in the standard setting.

研究动机与目标

• 解决高维观测中与任务无关的背景信息对基于模型强化学习带来的挑战。
• 开发一种表征学习方法，优先编码时序可预测、与任务相关的内容，而非静态或干扰性元素。
• 在以干扰物为主导的真实强化学习环境中，提升样本效率和鲁棒性。
• 用理论基础坚实的预测编码方法替代基于重建的损失函数，避免编码无关的视觉细节。
• 通过从预测编码目标学习动力学模型，实现在潜在空间中的有效规划。

提出的方法

• 该方法采用时序预测编码（TPC），通过对比真实下一个潜在状态与来自其他轨迹的负样本，最大化时间上的一致性预测。
• 采用连续时间步长之间潜在状态的对比目标，而非观测与潜在码之间的对比，以鼓励编码可预测的动力学。
• 使用循环状态空间模型（RSSM）建模潜在动力学，支持在潜在空间中通过滚动仿真进行规划。
• 通过端到端训练策略与世界模型，利用反向传播通过动力学和规划过程进行优化。
• 通过仅关注时间上可预测的成分，隐式抑制与任务无关信息的编码。
• 与基于重建的方法不同，无需解码器网络，从而降低对背景干扰物的敏感性。

实验结果

研究问题

• RQ1 聚焦于时间一致性的预测编码目标，是否能在高维强化学习中优于基于重建或静态对比的目标？
• RQ2 时序预测编码是否能自然抑制视觉观测中与任务无关的静态背景信息的编码？
• RQ3 在具有复杂干扰背景的环境中，该方法相较于最先进基于模型的强化学习方法表现如何？
• RQ4 在标准DMControl基准测试中，该方法是否与现有SOTA模型具有竞争力，同时在具有挑战性的干扰设置中表现更优？
• RQ5 预测编码目标对真实强化学习中样本效率和鲁棒性的贡献是什么？

主要发现

• 所提出的TPC方法在DMControl任务中显著优于现有最先进模型，尤其在包含自然视频背景（含复杂、与任务无关的干扰物）的环境中。
• 在无干扰物的标准DMControl基准中，该方法仍与当前SOTA模型保持竞争力，展现出强大的泛化能力。
• 消融实验表明，TPC能有效抑制静态、不可预测背景元素的编码，而基于重建或静态对比的方法则不能。
• 由于聚焦于可预测、与任务相关动力学，该方法在复杂环境中实现了更高的样本效率。
• 理论分析表明，TPC编码了足够用于最优决策的信息，因其优先关注时序可预测成分。
• 实证结果验证，TPC通过其预测目标过滤噪声和干扰物，实现更鲁棒的潜在空间规划。