[论文解读] Provably Efficient Reinforcement Learning with Linear Function Approximation Under Adaptivity Constraints

Tianhao Wang, Dongruo Zhou+1 more|arXiv (Cornell University)|Jan 6, 2021

Advanced Bandit Algorithms Research参考文献 30被引用 5

一句话总结

本文提出了两种可证明高效的强化学习算法——LSVI-UCB-Batch 和 LSVI-UCB-RareSwitch，适用于在适应性约束下的线性马尔可夫决策过程。通过利用线性函数逼近，并优化批量更新或稀疏策略切换，这些方法在显著减少策略更新次数的同时，实现了与完全自适应的 LSVI-UCB 算法相同的遗憾（regret）性能，且证明了在批量设置下其遗憾边界为最优。

ABSTRACT

We study reinforcement learning (RL) with linear function approximation under the adaptivity constraint. We consider two popular limited adaptivity models: the batch learning model and the rare policy switch model, and propose two efficient online RL algorithms for episodic linear Markov decision processes, where the transition probability and the reward function can be represented as a linear function of some known feature mapping. In specific, for the batch learning model, our proposed LSVI-UCB-Batch algorithm achieves an $ ilde O(\sqrt{d^3H^3T} + dHT/B)$ regret, where $d$ is the dimension of the feature mapping, $H$ is the episode length, $T$ is the number of interactions and $B$ is the number of batches. Our result suggests that it suffices to use only $\sqrt{T/dH}$ batches to obtain $ ilde O(\sqrt{d^3H^3T})$ regret. For the rare policy switch model, our proposed LSVI-UCB-RareSwitch algorithm enjoys an $ ilde O(\sqrt{d^3H^3T[1+T/(dH)]^{dH/B}})$ regret, which implies that $dH\log T$ policy switches suffice to obtain the $ ilde O(\sqrt{d^3H^3T})$ regret. Our algorithms achieve the same regret as the LSVI-UCB algorithm (Jin et al., 2019), yet with a substantially smaller amount of adaptivity. We also establish a lower bound for the batch learning model, which suggests that the dependency on $B$ in our regret bound is tight.

研究动机与目标

• 开发适用于线性 MDP 的高效在线强化学习算法，且在策略更新频率受限的场景下，避免频繁更新策略。
• 解决在高维、连续状态强化学习设置中，通过函数逼近降低策略适应频率的挑战。
• 为批量学习与稀疏策略切换模型建立理论遗憾边界，使其性能与完全自适应算法相当。
• 为批量学习模型证明遗憾下界，确认所提算法在批次数量上的依赖关系为最优。

提出的方法

• 提出 LSVI-UCB-Batch 算法，仅在预定义批次的末尾执行策略更新，结合上界置信区间（UCB）的线性值迭代方法。
• 引入 LSVI-UCB-RareSwitch 算法，在全局策略切换次数预算下自适应选择切换时机，通过 UCB 风格的置信区间维持探索能力。
• 采用线性函数逼近，其中转移和奖励函数在已知的 d 维特征映射下为线性关系。
• 通过分析受限策略适应下探索与利用之间的权衡，结合集中不等式与乐观值函数估计，推导遗憾边界。
• 通过构造一个具有 d 维特征和 H-时域的线性 MDP 实例，为批量学习模型建立下界。
• 利用极小化极大论证与信息论工具，证明遗憾边界中 B 依赖项的紧致性，从而确认其最优性。

实验结果

研究问题

• RQ1 我们能否在显著减少线性 MDP 中策略更新次数的同时，实现与完全自适应强化学习算法相同的遗憾？
• RQ2 在基于线性函数逼近的强化学习中，维持近似最优遗憾所需的最少批次或策略切换次数是多少？
• RQ3 遗憾边界中对批次或切换次数的依赖关系是否最优？能否证明其紧致性？
• RQ4 在实践中，批量处理与稀疏切换算法的性能与完全自适应基线相比如何？

主要发现

• LSVI-UCB-Batch 的遗憾为 Õ(√(d³H³T) + dHT/B)，表明仅需 √(T/dH) 个批次即可达到完全自适应 LSVI-UCB 算法的遗憾水平。
• LSVI-UCB-RareSwitch 的遗憾为 Õ(√(d³H³T[1+T/(dH)]^{dH/B})), 暗示 dH log T 次策略切换即可实现与完全自适应基线相同的遗憾性能。
• LSVI-UCB-Batch 的遗憾边界在对数因子范围内为最优，已通过批量学习模型的匹配下界得到验证。
• 实验结果表明，LSVI-UCB-RareSwitch 在整个训练过程中性能始终接近完全自适应的 LSVI-UCB，而 LSVI-UCB-Batch 仅在经历大量回合后才逐渐逼近该性能。
• 实证验证了遗憾与适应性之间的权衡：批次或切换次数越少，遗憾越高，但所提算法在最小适应性下仍保持竞争力。