[论文解读] Non-Stationary Reinforcement Learning: The Blessing of (More) Optimism

Wang Chi Cheung, David Simchi‐Levi+1 more|arXiv (Cornell University)|Jun 7, 2019

Advanced Bandit Algorithms Research被引用 4

一句话总结

本文提出了 SWUCRL2-CW 和 BORL 算法，用于处理奖励和转移概率随时间变化且变化预算受限的非平稳马尔可夫决策过程中的强化学习问题。通过引入一种新颖的置信区间加宽技术以增强乐观性，该算法在无需事先知晓变化预算的情况下，实现了最优的动态遗憾边界，理论与实践表现均优于现有方法。

ABSTRACT

We consider un-discounted reinforcement learning (RL) in Markov decision processes (MDPs) under temporal drifts, ie, both the reward and state transition distributions are allowed to evolve over time, as long as their respective total variations, quantified by suitable metrics, do not exceed certain variation budgets. This setting captures the endogeneity, exogeneity, uncertainty, and partial feedback in sequential decision-making scenarios, and finds applications in vehicle remarketing and real-time bidding. We first develop the Sliding Window Upper-Confidence bound for Reinforcement Learning with Confidence Widening (SWUCRL2-CW) algorithm, and establish its dynamic regret bound when the variation budgets are known. In addition, we propose the Bandit-over-Reinforcement Learning (BORL) algorithm to adaptively tune the SWUCRL2-CW algorithm to achieve the same dynamic regret bound, but in a parameter-free manner, ie, without knowing the variation budgets. Finally, we conduct numerical experiments to show that our proposed algorithms achieve superior empirical performance compared to existing algorithms. Notably, the interplay between endogeneity and exogeneity presents a unique challenge, absent in existing (stationary and non-stationary) stochastic online learning settings, when we apply the conventional Optimism in Face of Uncertainty principle to design algorithms with provably low dynamic regret for RL in drifting MDPs. We overcome the challenge by a novel confidence widening technique that incorporates additional optimism into our learning algorithms to ensure low dynamic regret bounds. To extend our theoretical findings, we apply our framework to inventory control problems, and demonstrate how one can alternatively leverage special structures on the state transition distributions to bypass the difficulty in exploring time-varying environments.

研究动机与目标

• 解决非平稳马尔可夫决策过程中未折扣的强化学习问题，其中奖励与转移概率随时间在有界变化预算内演变。
• 克服在应用基于乐观性的学习时，内生性（策略依赖的动力学）与外生性（随时间变化的外部因素）之间相互作用带来的挑战。
• 设计一种无需参数的算法，能够自适应未知的变化预算，同时保持最优的动态遗憾性能。
• 展示置信区间加宽技术在漂移环境中提升探索效率与遗憾边界方面的有效性。
• 展示所提算法在动态环境中相对于基线方法（如 UCRL2 和 UCRL2.S）的实证优越性。

提出的方法

• 提出 SWUCRL2-CW 算法，结合滑动窗口估计与置信区间加宽技术，用于在已知变化预算时处理时变马尔可夫决策过程。
• 采用一种新颖的置信区间加宽技术，向值函数估计中注入额外的乐观性，以确保低动态遗憾。
• 设计 BORL 算法作为主算法，利用 EXP3.P 自适应调优 SWUCRL2-CW 算法，实现无需参数的运行，且无需事先知晓变化预算。
• 使用滑动窗口估计器追踪近期的奖励与转移统计量，降低对长期漂移的敏感性。
• 以修改形式应用“面对不确定性时的乐观性”（OFU）原则，通过置信区间加宽增强，以应对内生性与外生性之间的相互作用。
• 利用单件库存控制中具有固定成本的结构特性，在特定情况下避免使用置信区间加宽。

实验结果

研究问题

• RQ1 基于乐观性的强化学习能否在同时具有时变奖励与转移的非平稳马尔可夫决策过程中实现低动态遗憾？
• RQ2 如何管理内生性策略效应与外生性环境漂移之间的相互作用，以维持低遗憾？
• RQ3 置信区间加宽能否以一种增强乐观性的方式，使遗憾边界优于标准 OFU 原则？
• RQ4 能否设计一种无需参数的算法，使其在非平稳强化学习中的遗憾性能与调优后的算法相当？
• RQ5 状态转移的结构性质（例如在库存控制中）在多大程度上可减少对置信区间加宽的需求？

主要发现

• 当变化预算 $ B_r $ 和 $ B_p $ 已知时，SWUCRL2-CW 算法实现了动态遗憾边界 $ \tilde{O}(\sqrt{B_r T} + \sqrt{B_p T}) $，与理论下界仅相差对数因子。
• BORL 算法在无需知晓 $ B_r $ 和 $ B_p $ 的情况下，也实现了相同的 $ \tilde{O}(\sqrt{B_r T} + \sqrt{B_p T}) $ 动态遗憾边界，因此为无参数算法。
• 在数值实验中，SWUCRL2-CW 和 BORL 在低和中等变化水平下，累积奖励均比 UCRL2 和 UCRL2.S 至少高出 20%。
• 在转移分布变化较大的情形下（$ B_p = \Theta(T^{0.5}) $），性能提升达 12%，表明对转移漂移具有鲁棒性。
• 令人惊讶的是，尽管 BORL 未知变化预算，但在某些场景下仍优于 SWUCRL2-CW，表明自适应的 EXP3.P 主算法能有效利用良性环境。
• 置信区间加宽技术被证明在维持低遗憾方面至关重要，尤其是在转移的外生漂移比奖励更严重的情况下。