[论文解读] Reinforcement Learning Algorithm Selection

Romain Laroche, Raphaël Féraud|arXiv (Cornell University)|Jan 30, 2017

Advanced Bandit Algorithms Research被引用 3

一句话总结

本文提出 ESBAS，一种用于在线强化学习（RL）算法选择的元算法，通过使用周期性随机多臂老虎机动态选择各类离策略RL算法，从而提升样本效率与性能。ESBAS 实现了近最优的遗憾边界，并在对话、水果收集和 Atari 任务中实证表现优于单一算法，通过自适应选择算法与学习率调度策略实现性能提升。

ABSTRACT

This paper formalises the problem of online algorithm selection in the context of Reinforcement Learning. The setup is as follows: given an episodic task and a finite number of off-policy RL algorithms, a meta-algorithm has to decide which RL algorithm is in control during the next episode so as to maximize the expected return. The article presents a novel meta-algorithm, called Epochal Stochastic Bandit Algorithm Selection (ESBAS). Its principle is to freeze the policy updates at each epoch, and to leave a rebooted stochastic bandit in charge of the algorithm selection. Under some assumptions, a thorough theoretical analysis demonstrates its near-optimality considering the structural sampling budget limitations. ESBAS is first empirically evaluated on a dialogue task where it is shown to outperform each individual algorithm in most configurations. ESBAS is then adapted to a true online setting where algorithms update their policies after each transition, which we call SSBAS. SSBAS is evaluated on a fruit collection task where it is shown to adapt the stepsize parameter more efficiently than the classical hyperbolic decay, and on an Atari game, where it improves the performance by a wide margin.

研究动机与目标

• 解决在轨迹收集成本高昂的在线、周期性强化学习场景中，选择最具样本效率的 RL 算法的挑战。
• 克服现实世界强化学习应用中试错式超参数调优与单一算法效率低下的局限性。
• 设计一种元算法，实现对多个离策略 RL 算法的稳健、自适应且公平的选择，并具备理论性能保证。
• 通过在统一选择框架中整合快速表现与稳定算法，实现课程学习与收敛性保证。
• 通过在算法间实现公平的预算分配，支持超越原始 RL 回报的目标函数，如自适应超参数调优。

提出的方法

• 提出一种统一的 RL 算法框架，利用通用交互过程（观测、动作、奖励三元组）实现多样化算法之间的信息共享。
• 提出 ESBAS，一种元算法，将时间划分为指数增长的周期，在每个周期内冻结策略更新，以实现稳定的随机多臂老虎机选择。
• 在每个周期内使用随机多臂老虎机基于累积回报选择表现最佳的 RL 算法，具备理论伪遗憾边界。
• 理论分析表明，ESBAS 在结构化采样预算约束下可实现近似最优性，遗憾边界为 $ (3K+1) ho_{\text{abs}}^{\tau}(T/3K) + \rho_{ss}^{\text{ESBAS}}(T) + \tilde{\rho}\text{log}(T) $。
• 将 ESBAS 适配为真正的在线设置 SSBAS，其中算法在每次转移后立即更新，从而在在线 RL 中实现动态学习率自适应。
• 通过在每条轨迹上对所有算法进行训练（无论控制策略如何），并利用离策略学习保持一致的策略更新，确保公平评估。

实验结果

研究问题

• RQ1 能否设计一种元算法，在在线周期性强化学习设置中动态选择多个离策略 RL 算法，以最大化期望回报？
• RQ2 在结构化采样约束下，基于周期性老虎机的选择机制是否能提供理论遗憾保证？
• RQ3 该元算法是否能在对话系统和 Atari 游戏等真实任务中，实现超越单一 RL 算法的样本效率与性能提升？
• RQ4 与经典方法（如双曲衰减）相比，该元算法如何在在线 RL 中自适应调整超参数（如学习率）？
• RQ5 该框架能否通过结合快速与稳定算法，实现课程学习与收敛性保证？

主要发现

• 在对话策略学习任务中，ESBAS 在大多数配置下优于每个独立的 RL 算法，展现出更优的样本效率与回报最大化能力。
• 在水果收集任务中，SSBAS 比经典双曲衰减方法更高效地自适应学习率参数，实现更快收敛与更优性能。
• 在 Q*bert Atari 游戏中，通过 SSBAS 并行运行多个不同网络深度与宽度的 DQN 变体，显著提升了最终性能。
• 理论分析证明，ESBAS 实现了近似最优遗憾，其上界为 $ (3K+1) ho_{\text{abs}}^{\tau}(T/3K) + \rho_{ss}^{\text{ESBAS}}(T) + \tilde{\rho}\text{log}(T) $，其中 $ \tilde{\rho} $ 是与失败概率相关的常数。
• ESBAS 以高概率 $ 1 - \tilde{\rho}/\tau $ 确保最佳算法被选择至少 $ \tau/3K $ 次，从而提供强大且坚实的实证与理论保证。