[论文解读] SOAC: The Soft Option Actor-Critic Architecture

Chenghao Li, Xiaoteng Ma+4 more|arXiv (Cornell University)|Jun 25, 2020

Optimization and Search Problems参考文献 43被引用 7

一句话总结

SOAC 提出了一种稳定、非策略的深度强化学习算法，将选项框架与最大熵强化学习及信息论内在奖励相结合，以实现有效的探索和稳定的训练。它在 Mujoco 基准测试中优于先前的策略与非策略方法，通过学习多样化、一致的选项，展现出强大的状态-动作空间一致性与可迁移的高层策略。

ABSTRACT

The option framework has shown great promise by automatically extracting temporally-extended sub-tasks from a long-horizon task. Methods have been proposed for concurrently learning low-level intra-option policies and high-level option selection policy. However, existing methods typically suffer from two major challenges: ineffective exploration and unstable updates. In this paper, we present a novel and stable off-policy approach that builds on the maximum entropy model to address these challenges. Our approach introduces an information-theoretical intrinsic reward for encouraging the identification of diverse and effective options. Meanwhile, we utilize a probability inference model to simplify the optimization problem as fitting optimal trajectories. Experimental results demonstrate that our approach significantly outperforms prior on-policy and off-policy methods in a range of Mujoco benchmark tasks while still providing benefits for transfer learning. In these tasks, our approach learns a diverse set of options, each of whose state-action space has strong coherence.

研究动机与目标

• 解决使用选项框架进行层次强化学习时探索效率低下和策略更新不稳定的挑战。
• 实现高层选项选择与低层选项内策略的稳定、非策略训练。
• 通过信息论内在奖励提升样本效率与策略多样性。
• 通过学习可迁移的通用型选项选择策略，促进迁移学习。
• 在理论上将策略优化与软最优性及概率推理相结合，实现最优轨迹拟合。

提出的方法

• 引入最大熵公式化方法，以增强选项选择与选项内策略的探索性与鲁棒性。
• 采用信息论内在奖励，以提升不同选项内策略的可区分性。
• 使用概率推理模型表示最优性，将优化问题简化为最优轨迹拟合。
• 应用非策略学习与软 Q 学习，解耦行为策略与目标策略，降低更新不稳定性。
• 通过软最优性交替进行策略评估与策略改进，实现灵活的行为策略更新。
• 利用带有隐变量的图模型对选项选择与最优性进行建模，以表示层次决策过程。

实验结果

研究问题

• RQ1 一种非策略最大熵方法是否能稳定地实现同时学习选项与选项内策略的层次强化学习？
• RQ2 基于信息论的内在奖励在多大程度上能提升所学选项的多样性与可区分性？
• RQ3 选项选择策略在不同任务中是否能学习到一致且明确的状态-动作子空间？
• RQ4 预训练的选项选择策略是否能有效迁移至新环境以加速学习，即使新环境与原环境差异较大？
• RQ5 在所提出的软最优性框架下，优化问题是否等价于最优轨迹拟合？

主要发现

• SOAC 在一系列 Mujoco 基准任务中显著优于先前的策略与非策略方法，实现了更优的样本效率与稳定的训练曲线。
• t-SNE 可视化结果证实，每个选项关联的状态-动作空间具有强一致性，表明子策略具有明确区分且已充分学习。
• 选项选择策略能够根据环境状态智能地分配不同选项，展现出复杂的任务分解能力。
• 将预训练的选项选择策略迁移至新环境（如 Hopper-v2 中的反向跳跃任务）可显著加速学习过程。
• 由于采用软最优性与非策略学习框架，该算法实现了稳定的训练，有效降低了策略更新的不稳定性。
• 内在奖励机制成功促进了多样化且高效选项的发现，避免了单一选项主导的退化问题。