[论文解读] Skill Transfer in Deep Reinforcement Learning under Morphological Heterogeneity

Yang Hu, Giovanni Montana|arXiv (Cornell University)|Aug 14, 2019

Reinforcement Learning in Robotics参考文献 61被引用 4

一句话总结

该论文提出了一种成对变分自编码器-解码器（PVED）模型，通过将共享控制因子与特定于智能体的因子解耦，实现在形态差异较大的智能体（MDA）之间的技能迁移。该方法仅使用源智能体单个任务的数据即可实现样本高效的迁移，结合理论性能边界与在四个MuJoCo环境中的实证验证，展现出优越的性能和可解释的解耦表征。

ABSTRACT

Transfer learning methods for reinforcement learning (RL) domains facilitate the acquisition of new skills using previously acquired knowledge. The vast majority of existing approaches assume that the agents have the same design, e.g. same shape and action spaces. In this paper we address the problem of transferring previously acquired skills amongst morphologically different agents (MDAs). For instance, assuming that a bipedal agent has been trained to move forward, could this skill be transferred on to a one-leg hopper so as to make its training process for the same task more sample efficient? We frame this problem as one of subspace learning whereby we aim to infer latent factors representing the control mechanism that is common between MDAs. We propose a novel paired variational encoder-decoder model, PVED, that disentangles the control of MDAs into shared and agent-specific factors. The shared factors are then leveraged for skill transfer using RL. Theoretically, we derive a theorem indicating how the performance of PVED depends on the shared factors and agent morphologies. Experimentally, PVED has been extensively validated on four MuJoCo environments. We demonstrate its performance compared to a state-of-the-art approach and several ablation cases, visualize and interpret the hidden factors, and identify avenues for future improvements.

研究动机与目标

• 为解决在双足行走者与单足跳跃者等形态差异较大的智能体之间迁移技能的挑战。
• 实现在无需大量多任务或多智能体经验情况下的样本高效强化学习迁移。
• 在统一的概率框架中，将共享控制机制与特定于智能体的动力学解耦。
• 为在形态异质性条件下的技能迁移提供理论性能保证。
• 在具有显著形态差异的多样化MuJoCo环境中，验证该方法的有效性与可解释性。

提出的方法

• PVED模型通过成对变分自编码器架构，联合将两个形态差异较大的智能体的状态与动作编码为共享与个体潜在因子。
• 共享因子通过建模跨智能体控制机制条件分布的概率编码器推断得出，而个体因子则捕捉与形态相关的动力学特性。
• 模型通过变分推断目标进行训练，最小化重构误差以及共享与个体因子分布之间的KL散度。
• 理论分析推导出一个性能边界，表明迁移误差取决于共享因子分布与形态差异，后者通过KL散度量化。
• 该方法利用共享因子作为先验，通过深度强化学习对目标智能体策略进行微调。
• 该框架支持可解释的解耦，通过潜在空间分析可视化，可洞察如步态阶段等共享控制机制。

实验结果

研究问题

• RQ1 仅使用源智能体单个任务的经验，能否有效将预训练策略迁移到形态不同的目标智能体？
• RQ2 如何以一种可有效支持跨多样化形态迁移的方式，将共享控制机制与特定于智能体的动力学解耦？
• RQ3 基于共享因子质量与形态差异，能否为该迁移方法的性能提供理论保证？
• RQ4 解耦的潜在因子在多大程度上可被解释为有意义的控制抽象（例如，平衡、摆动阶段）？
• RQ5 在多样化运动任务中，所提出的PVED模型相较于最先进方法，在样本效率与最终性能方面表现如何？

主要发现

• PVED在训练目标智能体方面实现了显著的样本效率提升，在所有四个测试的MuJoCo环境中均优于最先进基线方法。
• 定理1中的理论性能边界表明，迁移误差受共享因子分布之间KL散度平方根的项所限制，提供了正式的保证。
• 消融研究证实，共享与个体因子的解耦对最优性能均至关重要，任一组件的消融均导致性能下降。
• 学习到的潜在空间可视化揭示了可解释的解耦：共享因子对应于抽象控制阶段（如初始接触、平衡），而个体因子则编码特定于智能体的动作（如行走与跳跃）。
• 该方法在极大形态差异间具有泛化能力——例如，从双足智能体迁移到单足智能体，证明了其超越相似形态的可迁移性。
• 即使源智能体与目标智能体具有截然不同的动作空间与动力学特性，该模型仍能实现稳定训练与一致的性能提升。