[论文解读] Plannable Approximations to MDP Homomorphisms: Equivariance under Actions

Elise van der Pol, Thomas Kipf+2 more|arXiv (Cornell University)|Feb 27, 2020

Reinforcement Learning in Robotics被引用 12

一句话总结

该论文提出了一种对比学习方法，通过在确定性MDP的潜在表示中强制执行动作等变性，确保输入空间中的状态转移在潜在空间中得到镜像。当损失为零时，该方法生成MDP同态，从而可在抽象MDP中通过值迭代实现精确规划，并成功将最优策略迁移至原始MDP，展现出对新目标的强大泛化能力。

ABSTRACT

This work exploits action equivariance for representation learning in reinforcement learning. Equivariance under actions states that transitions in the input space are mirrored by equivalent transitions in latent space, while the map and transition functions should also commute. We introduce a contrastive loss function that enforces action equivariance on the learned representations. We prove that when our loss is zero, we have a homomorphism of a deterministic Markov Decision Process (MDP). Learning equivariant maps leads to structured latent spaces, allowing us to build a model on which we plan through value iteration. We show experimentally that for deterministic MDPs, the optimal policy in the abstract MDP can be successfully lifted to the original MDP. Moreover, the approach easily adapts to changes in the goal states. Empirically, we show that in such MDPs, we obtain better representations in fewer epochs compared to representation learning approaches using reconstructions, while generalizing better to new goals than model-free approaches.

研究动机与目标

• 为解决在高维、连续MDP中学习结构化、可规划表示的挑战，且不依赖重建损失。
• 在潜在空间中强制执行动作等变性，确保输入空间中的转移在潜在空间中由等价转移镜像反映。
• 从学习到的表示构建一个支持通过值迭代进行精确规划的抽象MDP。
• 在不重新训练的情况下实现对新目标状态的零样本迁移，利用学习到的同态的结构不变性。
• 在数据效率和泛化能力方面优于端到端强化学习和基于重建的表示学习方法。

提出的方法

• 设计了一种对比损失函数，以强制执行动作等变性，确保状态转移的潜在表示与对应动作嵌入下其潜在表示的转移相匹配。
• 该方法学习从原始状态空间到潜在空间的映射Z，使得Z(T(s,a)) = T̄(Z(s), Âs(a))，满足MDP同态条件。
• 损失函数结合了下一状态预测、奖励预测和负采样，以防止潜在空间坍塌并提升表示质量。
• 使用学习到的潜在表示及其对应的转移和奖励函数构建抽象MDP，从而支持通过值迭代进行规划。
• 为每个状态学习动作嵌入Âs(a)，以建模动作对潜在空间的影响，确保其与转移函数可交换。
• 该方法通过关注通过等变性实现的结构不变性，避免像素重建，降低训练成本并突出决策相关特征。

实验结果

研究问题

• RQ1 是否可以通过对比损失强制执行动作等变性，以学习适用于确定性MDP中精确规划的表示？
• RQ2 在何种条件下，学习到的表示构成有效的MDP同态？
• RQ3 在抽象MDP中进行规划是否能生成可成功迁移至原始MDP的策略？
• RQ4 该方法在不进行额外训练的情况下，对新目标状态的泛化能力如何？
• RQ5 该方法在数据效率和泛化能力方面是否优于基于重建和无模型的表示学习方法？

主要发现

• 当所提损失为零时，学习到的映射在确定性MDP中可被证明为MDP同态，确保抽象MDP中的最优策略可被精确迁移至原始MDP。
• 与基于重建的方法相比，该方法在更少的训练周期内获得更优的表示，表现为更快收敛和更低的训练损失。
• 该方法无需进一步梯度更新即可有效泛化至新目标状态，展现出强大的零样本迁移能力。
• 学习到的潜在空间保留了原始MDP的图结构，从而支持通过值迭代实现准确规划。
• 该方法在具有相同动力学的新MDP实例上表现出良好泛化能力，表明对目标状态分布偏移具有鲁棒性。
• 在未见目标状态上的策略性能衡量显示，该方法在泛化能力方面优于无模型基线方法。