[论文解读] Single Episode Policy Transfer in Reinforcement Learning

Jiachen Yang, Brenden K. Petersen+2 more|arXiv (Cornell University)|Oct 17, 2019

Reinforcement Learning in Robotics参考文献 41被引用 21

一句话总结

本文提出单次测试轨迹策略迁移（SEPT），一种在测试时无需访问奖励信息的强化学习近似最优控制方法。该方法利用探测策略与推理模型，快速估计早期步骤中的潜在动力学，从而立即部署通用策略——在高维、非连续及连续动力学环境中，性能与速度均优于基线方法。

ABSTRACT

Transfer and adaptation to new unknown environmental dynamics is a key challenge for reinforcement learning (RL). An even greater challenge is performing near-optimally in a single attempt at test time, possibly without access to dense rewards, which is not addressed by current methods that require multiple experience rollouts for adaptation. To achieve single episode transfer in a family of environments with related dynamics, we propose a general algorithm that optimizes a probe and an inference model to rapidly estimate underlying latent variables of test dynamics, which are then immediately used as input to a universal control policy. This modular approach enables integration of state-of-the-art algorithms for variational inference or RL. Moreover, our approach does not require access to rewards at test time, allowing it to perform in settings where existing adaptive approaches cannot. In diverse experimental domains with a single episode test constraint, our method significantly outperforms existing adaptive approaches and shows favorable performance against baselines for robust transfer.

研究动机与目标

• 解决在动力学未知且变化不定的条件下，于单次测试轨迹中实现近似最优性能的挑战。
• 在测试期间奖励不可用或延迟的场景中实现迁移。
• 开发一种适用于实时应用中典型时间与计算约束的方法。
• 通过基于推断潜在变量的通用策略，结合稳健迁移与基于适应的迁移。
• 确保与现有强化学习及变分推理工作流兼容，无需密集奖励或测试时的多次轨迹采样。

提出的方法

• 训练探测策略，以从新测试轨迹的初始阶段收集早期轨迹数据。
• 利用推理模型（如变分自编码器）仅基于少量（例如5%）的轨迹数据，估计代表未知动力学的潜在变量。
• 将估计的潜在变量作为输入，立即部署预训练的通用控制策略。
• 该方法利用变分推理，从观测轨迹中学习动力学的解耦表示。
• 在训练期间联合优化探测策略与推理模型，以确保潜在变量估计的快速与准确。
• 测试时固定通用策略，无需进一步微调或梯度更新。

实验结果

研究问题

• RQ1 当动力学未知且奖励不可用时，强化学习智能体是否能在单次测试轨迹中实现近似最优性能？
• RQ2 如何从极少量的早期状态观测中快速推断潜在动力学，以实现策略的即时部署？
• RQ3 结合探测、推理与通用策略的模块化方法是否在单次测试设置下优于现有适应或元学习方法？
• RQ4 该方法对探测长度与潜在变量维度的变化具有多强的鲁棒性？
• RQ5 该方法是否能在高维马尔可夫决策过程中，泛化至连续与非连续动力学？

主要发现

• 在所有基准领域中，SEPT在累积奖励与计算速度方面显著优于最先进基于模型的方法（Killian et al., 2017）。
• 在具有非连续动力学的二维导航任务中，即使探测长度非最优，SEPT仍获得高于DPT及其他基线方法的累积奖励。
• SEPT在不同探测长度与潜在维度下表现出强鲁棒性，即使超参数设置非最优，仍保持优异性能。
• 在测试时无奖励的场景下，SEPT优于基于优化的元学习方法（如MAML）。
• 探测阶段在二维导航任务中对快速求解至关重要，而在Acrobot任务中性能与基线相当，在HIV任务中表现更优，表明其对不同动力学的适应能力。
• SEPT在与稳健迁移基线对比中表现良好，并在潜在变量对动力学产生大范围非连续影响的环境中展现出明显优势。