[论文解读] Nearly Minimax Optimal Reinforcement Learning for Linear Markov Decision Processes

Jiafan He, Heyang Zhao+2 more|arXiv (Cornell University)|Dec 12, 2022

Reinforcement Learning in Robotics被引用 4

一句话总结

该论文提出 LSVI-UCB++，这是首个在计算上高效的强化学习算法，适用于线性马尔可夫决策过程，并实现了几乎最小最大最优遗憾 $\widetilde{O}(d\sqrt{H^3K})$。它结合了方差感知加权岭回归与稀疏切换策略，以提高估计精度并减少遗憾，其结果在对数因子范围内匹配理论下界。

ABSTRACT

We study reinforcement learning (RL) with linear function approximation. For episodic time-inhomogeneous linear Markov decision processes (linear MDPs) whose transition probability can be parameterized as a linear function of a given feature mapping, we propose the first computationally efficient algorithm that achieves the nearly minimax optimal regret $ ilde O(d\sqrt{H^3K})$, where $d$ is the dimension of the feature mapping, $H$ is the planning horizon, and $K$ is the number of episodes. Our algorithm is based on a weighted linear regression scheme with a carefully designed weight, which depends on a new variance estimator that (1) directly estimates the variance of the optimal value function, (2) monotonically decreases with respect to the number of episodes to ensure a better estimation accuracy, and (3) uses a rare-switching policy to update the value function estimator to control the complexity of the estimated value function class. Our work provides a complete answer to optimal RL with linear MDPs, and the developed algorithm and theoretical tools may be of independent interest.

研究动机与目标

• 弥合现有计算高效强化学习算法与线性 MDP 的最小最大最优遗憾边界之间的差距。
• 开发一种方法，实现几乎最优遗憾，而无需依赖先前线性混合 MDP 方法所需的昂贵积分或采样预言机。
• 设计一种直接针对真实值函数方差的方差估计器，以实现更紧的置信集。
• 在保持均匀控制值函数估计器复杂度的同时确保计算效率，通过稀疏切换更新策略实现。

提出的方法

• 提出一种新颖的方差感知权重函数的加权岭回归方案，以提高估计精度。
• 引入一种新型方差估计器，直接估计真实最优值函数的方差，从而降低过度估计风险。
• 采用单调递减的值函数估计器，确保随时间推移估计精度逐步提升。
• 使用稀疏切换策略来更新值函数估计器，以控制估计函数类的复杂度。
• 基于线性回归的高概率界，应用基于矩阵集中不等式的置信椭球框架。
• 整合一种新型正则化回归过程，确保在各轮次中对估计误差实现统一控制。

实验结果

研究问题

• RQ1 计算高效的强化学习算法是否能在线性 MDP 中实现几乎最小最大最优遗憾？
• RQ2 如何改进方差估计以在现有 LSVI-UCB 风格算法的基础上进一步减少遗憾？
• RQ3 是否可以在不依赖生成模型或昂贵预言机的前提下，将遗憾边界收紧至与已知下界 $O(d\sqrt{H^3K})$ 一致？
• RQ4 单调递减的值函数估计器在提升估计精度和遗憾边界方面发挥何种作用？
• RQ5 如何控制估计值函数类的复杂度，以确保统一收敛？

主要发现

• 所提出的 LSVI-UCB++ 算法实现了 $\widetilde{O}(d\sqrt{H^3K})$ 的遗憾边界，其结果在对数因子范围内与已知下界一致。
• 通过采用方差感知回归方案，该算法将 Jin 等人（2020）的 $\widetilde{O}(\sqrt{d^3H^4K})$ 遗憾边界中对 $H$ 的依赖关系显著降低。
• 新型方差估计器直接针对真实值函数的方差，从而实现了比先前方法更紧的置信集。
• 稀疏切换策略确保了值函数估计器在保持统一估计精度的同时，仍具备计算高效性。
• 该方法避免了对积分或采样预言机的依赖，使其适用于此类预言机难以实现的一般线性 MDP。
• 该理论框架解决了同期工作（Hu 等，2022）中的一个技术缺陷，通过严谨分析验证了该方法的正确性。