[论文解读] Upper Confidence Primal-Dual Reinforcement Learning for CMDP with Adversarial Loss

Shuang Qiu, Xiaohan Wei+3 more|arXiv (Cornell University)|Mar 2, 2020

Advanced Bandit Algorithms Research参考文献 52被引用 12

一句话总结

该论文提出了一种用于随机约束马尔可夫决策过程（CMDPs）的上置信度原始-对偶强化学习算法，支持对抗性损失，仅需采样轨迹且无需转移模型的先验知识。该算法实现了 $\tilde{\mathcal{O}}(L|\mathcal{S}|\sqrt{|\mathcal{A}|T})$ 的遗憾和约束违规边界，通过一种新颖的拉格朗日乘子过程的高概率漂移分析，将不确定性下的乐观性原则扩展至约束在线学习。

ABSTRACT

We consider online learning for episodic stochastically constrained Markov decision processes (CMDPs), which plays a central role in ensuring the safety of reinforcement learning. Here the loss function can vary arbitrarily across the episodes, and both the loss received and the budget consumption are revealed at the end of each episode. Previous works solve this problem under the restrictive assumption that the transition model of the Markov decision processes (MDPs) is known a priori and establish regret bounds that depend polynomially on the cardinalities of the state space $\mathcal{S}$ and the action space $\mathcal{A}$. In this work, we propose a new \emph{upper confidence primal-dual} algorithm, which only requires the trajectories sampled from the transition model. In particular, we prove that the proposed algorithm achieves $\widetilde{\mathcal{O}}(L|\mathcal{S}|\sqrt{|\mathcal{A}|T})$ upper bounds of both the regret and the constraint violation, where $L$ is the length of each episode. Our analysis incorporates a new high-probability drift analysis of Lagrange multiplier processes into the celebrated regret analysis of upper confidence reinforcement learning, which demonstrates the power of "optimism in the face of uncertainty" in constrained online learning.

研究动机与目标

• 解决在转移模型、损失函数和约束函数未知且随各期变化的对抗性环境下，随机CMDPs中的在线学习问题。
• 设计一种可证明高效的算法，实现次线性遗憾和约束违规，且无需了解MDP的转移动态先验知识。
• 通过拉格朗日乘子过程的新型漂移分析，将“面对不确定性时的乐观性”原则从无约束强化学习扩展至约束在线学习。
• 建立与时段长度 $L$、状态空间大小 $|\mathcal{S}|$、动作空间大小 $|\mathcal{A}|$ 和时域 $T$ 成比例的紧致遗憾和约束违规边界。

提出的方法

• 提出一种上置信度原始-对偶算法，利用采样轨迹对奖励、约束和转移估计维护上置信界。
• 采用拉格朗日乘子过程的高概率漂移分析，以在对抗性损失和约束函数存在下控制对偶变量的演化。
• 使用随时间变化的对偶变量更新规则，以适应各期中变化的约束和损失函数。
• 应用原始-对偶优化框架，基于估计奖励和约束的置信区间更新策略。
• 通过基于周期的更新，引入对偶变量总变差的新型边界，利用周期数 $\mathcal{O}(\sqrt{T|\mathcal{S}||\mathcal{A}|}\log T)$。
• 通过UCB风格的乐观性和对偶变量动态稳定性的结合分析，推导出遗憾和约束违规边界。

实验结果

研究问题

• RQ1 当转移模型未知时，能否为具有对抗性、时变损失和约束函数的随机CMDPs设计一种可证明高效的强化学习算法？
• RQ2 能否通过拉格朗日乘子过程的高概率漂移分析，将“面对不确定性时的乐观性”原则扩展至约束在线学习？
• RQ3 在这种设置下，遗憾与约束违规之间的最优权衡是什么？能否仅通过采样轨迹实现？
• RQ4 该算法的性能如何随时段长度 $L$、状态空间大小 $|\mathcal{S}|$、动作空间大小 $|\mathcal{A}|$ 和总期数 $T$ 而变化？

主要发现

• 所提出的算法实现了 $\tilde{\mathcal{O}}(L|\mathcal{S}|\sqrt{|\mathcal{A}|T})$ 的遗憾和约束违规，这是首个针对具有对抗性损失和未知转移的CMDPs的此类边界。
• 该算法的遗憾和约束违规边界在 $L$、$|\mathcal{S}|$ 和 $|\mathcal{A}|$ 上呈多项式依赖，在 $T$ 上呈次线性依赖，表现出良好的可扩展性。
• 该分析引入了拉格朗日乘子过程的新型高概率漂移分析，这对于在不确定性下控制对偶变量演化至关重要。
• 该算法仅通过环境中的采样轨迹即可实现这些边界，无需转移模型的先验知识。
• 该算法的周期数被限制在 $\mathcal{O}(\sqrt{T|\mathcal{S}||\mathcal{A}|}\log T)$ 以内，从而限制了对偶变量被重置的次数。
• 推导出的边界与无约束强化学习的最先进水平相当，并在最小假设下将这些结果扩展至具有对抗性损失的约束设置。