[论文解读] Provably Efficient Model-Free Constrained RL with Linear Function Approximation

Arnob Ghosh, Xingyu Zhou+1 more|arXiv (Cornell University)|Jun 23, 2022

Reinforcement Learning in Robotics被引用 6

一句话总结

该论文提出首个无需模型、无需模拟器的约束马尔可夫决策过程的无模型强化学习算法，结合线性函数逼近，实现了 $×{\tilde{\mathcal{O}}}(\sqrt{d^{3}H^{3}T})$ 的遗憾与约束违反边界。该方法将原始-对偶优化与软最大策略结合于改进的 LSVI-UCB 框架中，实现无需模型估计或模拟器的统一浓度与乐观性。

ABSTRACT

We study the constrained reinforcement learning problem, in which an agent aims to maximize the expected cumulative reward subject to a constraint on the expected total value of a utility function. In contrast to existing model-based approaches or model-free methods accompanied with a `simulator', we aim to develop the first model-free, simulator-free algorithm that achieves a sublinear regret and a sublinear constraint violation even in large-scale systems. To this end, we consider the episodic constrained Markov decision processes with linear function approximation, where the transition dynamics and the reward function can be represented as a linear function of some known feature mapping. We show that $ ilde{\mathcal{O}}(\sqrt{d^3H^3T})$ regret and $ ilde{\mathcal{O}}(\sqrt{d^3H^3T})$ constraint violation bounds can be achieved, where $d$ is the dimension of the feature mapping, $H$ is the length of the episode, and $T$ is the total number of steps. Our bounds are attained without explicitly estimating the unknown transition model or requiring a simulator, and they depend on the state space only through the dimension of the feature mapping. Hence our bounds hold even when the number of states goes to infinity. Our main results are achieved via novel adaptations of the standard LSVI-UCB algorithms. In particular, we first introduce primal-dual optimization into the LSVI-UCB algorithm to balance between regret and constraint violation. More importantly, we replace the standard greedy selection with respect to the state-action function in LSVI-UCB with a soft-max policy. This turns out to be key in establishing uniform concentration for the constrained case via its approximation-smoothness trade-off. We also show that one can achieve an even zero constraint violation while still maintaining the same order with respect to $T$.

研究动机与目标

• 解决大规模系统中约束强化学习缺乏可证明高效的无模型、无模拟器算法的问题。
• 克服基于模型的方法及依赖模拟器的算法在高维或无限状态空间中的局限性。
• 在具有线性函数逼近的周期性约束 MDP 中实现次线性遗憾与约束违反。
• 建立仅依赖特征维数 $d$ 而非状态数量的性能保证，从而实现对大规模或无限状态空间的可扩展性。
• 开发一种可推广的框架，超越表格设置，支持约束强化学习中的函数逼近。

提出的方法

• 通过整合原始-对偶优化，改进 LSVI-UCB 算法，以平衡奖励最大化与约束满足。
• 引入一个复合 Q-函数，将奖励 Q-函数与由对偶变量加权的效用 Q-函数相结合。
• 用软最大策略替代贪婪动作选择，以利用平滑性-近似性权衡，实现统一浓度。
• 采用对偶变量更新规则，动态调整遗憾与约束违反之间的权衡。
• 利用软最大策略的平滑性，建立值函数的统一浓度边界，避免依赖覆盖数。
• 利用高概率浓度不等式与对偶变量分析，推导出遗憾与违反边界的上界。

实验结果

研究问题

• RQ1 无模型、无模拟器的算法能否在具有线性函数逼近的周期性约束 MDP 中实现次线性遗憾与约束违反？
• RQ2 在无显式模型估计或模拟器的情况下，如何在约束强化学习中建立统一浓度？
• RQ3 在约束探索中，将贪婪策略选择替换为软最大策略会产生何种影响？
• RQ4 该算法能否在 $T$ 较大时实现零约束违反，同时保持次线性遗憾？
• RQ5 边界如何随特征维数 $d$、时域 $H$ 与总步数 $T$ 变化？

主要发现

• 所提算法以高概率实现 $×{\tilde{\mathcal{O}}}(\sqrt{d^{3}H^{3}T})$ 的遗憾与 $×{\tilde{\mathcal{O}}}(\sqrt{d^{3}H^{3}T})$ 的约束违反。
• 边界与状态数量无关，使算法可扩展至无限或极大状态空间。
• 该算法无需估计转移模型或访问模拟器，与先前工作形成区分。
• 通过适度增加遗憾，算法可渐近实现零约束违反（$T$ 较大时）。
• 软最大策略实现了统一浓度与近似-平滑性权衡，这对分析至关重要。
• 结果优于先前无模型表格算法，后者在状态数量上呈多项式增长。