[论文解读] Upper confidence primal-dual optimization: Stochastically constrained Markov decision processes with adversarial losses and unknown transitions

Shuang Qiu, Xiaohan Wei+3 more|arXiv (Cornell University)|Mar 2, 2020

Advanced Bandit Algorithms Research被引用 9

一句话总结

该论文针对具有对抗性损失和未知转移动态的周期性随机约束马尔可夫决策过程（CMDPs），提出了一种上界置信原始-对偶（UC-PD）算法。通过利用不确定性下的乐观性以及拉格朗日乘子的新型高概率漂移分析，该方法实现了 $\tilde{\mathcal{O}}(L|\mathcal{S}|\sqrt{|\mathcal{A}|T})$ 的遗憾和约束违规边界，且不依赖于已知的转移模型。

ABSTRACT

We consider online learning for episodic stochastically constrained Markov decision processes (CMDP), which plays a central role in ensuring the safety of reinforcement learning. Here the loss function can vary arbitrarily across the episodes, whereas both the loss received and the budget consumption are revealed at the end of each episode. Previous works solve this problem under the restrictive assumption that the transition model of the Markov decision processes (MDP) is known a priori and establish regret bounds that depend polynomially on the cardinalities of the state space $\mathcal{S}$ and the action space $\mathcal{A}$. In this work, we propose a new \emph{upper confidence primal-dual} algorithm, which only requires the trajectories sampled from the transition model. In particular, we prove that the proposed algorithm achieves $\widetilde{\mathcal{O}}(L|\mathcal{S}|\sqrt{|\mathcal{A}|T})$ upper bounds of both the regret and the constraint violation, where $L$ is the length of each episode. Our analysis incorporates a new high-probability drift analysis of Lagrange multiplier processes into the celebrated regret analysis of upper confidence reinforcement learning, which demonstrates the power of optimism in the face of uncertainty in constrained online learning.

研究动机与目标

• 解决周期性随机约束 MDP 中的在线学习问题，其中转移动态未知，且各周期的损失以对抗性方式变化。
• 消除先前 CMDP 算法中对已知转移模型的限制性假设，从而提升实际适用性。
• 开发一种方法，在面对不确定性和对抗性损失序列时，同时实现低遗憾和有界的约束违规。
• 将不确定性下的乐观性与原始-对偶优化相结合，用于约束强化学习。
• 建立遗憾和约束违规的理论保证，且其规模能随状态空间和动作空间大小高效扩展。

提出的方法

• 所提出的 UC-PD 算法使用价值函数的上界置信区间，在未知动态下平衡探索与利用。
• 它维护拉格朗日乘子以处理约束，并应用一种新型高概率漂移分析来控制其随时间的演化。
• 该算法仅依赖于从环境中采样的轨迹，无需任何关于转移模型的先验知识。
• 它结合了上界置信强化学习中的乐观性原则与原始-对偶更新，以同时最小化遗憾并强制执行约束。
• 该方法通过经验均值和各周期回报及约束违规的方差，推导出价值估计的置信区间。
• 一项关键技术创新是将拉格朗日乘子的漂移分析与上界置信学习的遗憾分析相耦合，从而确保稳定性与收敛性。

实验结果

研究问题

• RQ1 我们能否设计一种无需已知转移模型先验知识的 CMDP 在线学习算法？
• RQ2 在存在对抗性损失序列和未知动态的情况下，能否实现次线性遗憾和约束违规？
• RQ3 如何有效结合不确定性下的乐观性与约束 MDP 中的原始-对偶优化？
• RQ4 在这些放宽的假设下，能否为遗憾和约束违规证明理论边界？
• RQ5 拉格朗日乘子的高概率漂移分析能否确保约束执行的稳定与有界？

主要发现

• UC-PD 算法在遗憾和约束违规方面均实现了 $\tilde{\mathcal{O}}(L|\mathcal{S}|\sqrt{|\mathcal{A}|T})$ 的上界，其中 $L$ 为周期长度，$|\mathcal{S}|$ 为状态空间大小，$|\mathcal{A}|$ 为动作空间大小，$T$ 为周期数量。
• 遗憾和约束违规的边界不依赖于转移模型的基数，使得该方法在转移动态未知时依然适用。
• 该算法的理论保证通过拉格朗日乘子过程的新型高概率漂移分析得以建立。
• 该方法成功地将不确定性下的乐观性与原始-对偶学习相结合，展示了乐观性在约束在线学习中的强大作用。
• 分析表明，即使在对抗性损失序列下，该算法也能在最小化遗憾的同时保持有界的约束违规。
• 所提出的方法通过消除对已知转移模型的假设，优于先前工作，从而更广泛地适用于现实世界中的安全强化学习场景。