[论文解读] Reward-Free RL is No Harder Than Reward-Aware RL in Linear Markov Decision Processes

Andrew Wagenmaker, Yifang Chen+3 more|arXiv (Cornell University)|Jan 26, 2022

Reinforcement Learning in Robotics被引用 5

一句话总结

该论文表明，在线性马尔可夫决策过程（MDPs）中，与表格化情形相反，无奖励强化学习（RL）并不比有奖励RL更困难。作者提出了一种计算高效的算法，其样本复杂度为 $\widetilde{\mathcal{O}}(d^2H^5/\epsilon^2)$，与有奖励RL的下界 $\Omega(d^2H^2/\epsilon^2)$ 相匹配，证明在函数逼近下复杂度之间不存在差距。

ABSTRACT

Reward-free reinforcement learning (RL) considers the setting where the agent does not have access to a reward function during exploration, but must propose a near-optimal policy for an arbitrary reward function revealed only after exploring. In the the tabular setting, it is well known that this is a more difficult problem than reward-aware (PAC) RL -- where the agent has access to the reward function during exploration -- with optimal sample complexities in the two settings differing by a factor of $|\mathcal{S}|$, the size of the state space. We show that this separation does not exist in the setting of linear MDPs. We first develop a computationally efficient algorithm for reward-free RL in a $d$-dimensional linear MDP with sample complexity scaling as $\widetilde{\mathcal{O}}(d^2 H^5/ε^2)$. We then show a lower bound with matching dimension-dependence of $Ω(d^2 H^2/ε^2)$, which holds for the reward-aware RL setting. To our knowledge, our approach is the first computationally efficient algorithm to achieve optimal $d$ dependence in linear MDPs, even in the single-reward PAC setting. Our algorithm relies on a novel procedure which efficiently traverses a linear MDP, collecting samples in any given ``feature direction'', and enjoys a sample complexity scaling optimally in the (linear MDP equivalent of the) maximal state visitation probability. We show that this exploration procedure can also be applied to solve the problem of obtaining ``well-conditioned'' covariates in linear MDPs.

研究动机与目标

• 为填补在线性MDP中无奖励RL与有奖励RL之间的差距而努力，其中在表格化设置中存在此类差距。
• 为在线性MDP中的无奖励RL设计一种计算高效的算法，实现对特征维度 $d$ 的最优依赖性。
• 证明在线性MDP中，无奖励RL的样本复杂度与有奖励RL的复杂度仅相差 $H$ 因子。
• 设计一种新颖的探索程序，能够以所需容差高效地在所有特征方向上收集数据。
• 证明相同的探索策略可实现具有良好条件性的协变量，其最小特征值有下界。

提出的方法

• 提出一种新颖的探索策略，通过生成‘覆盖轨迹’在给定容差内收集每个特征方向上的样本。
• 设计一种计算高效的算法，利用该探索程序在线性MDP中学习近似最优策略。
• 该算法的样本复杂度在在线性MDP设置下，与最大状态访问概率的倒数呈最优缩放关系。
• 通过将特征空间分层分解为 $\mathcal{X}_i$ 集合，控制覆盖误差并确保完整覆盖特征空间。
• 基于每个覆盖集合中特征向量的最大范数，提出一种新颖的特征值下界论证，以确保协变量具有良好条件性。
• 利用探索程序构建一个最小特征值有下界的的设计矩阵，这对后续策略学习至关重要。

实验结果

研究问题

• RQ1 在线性MDP中，无奖励RL是否如在表格化情形中一样，本质上比有奖励RL更困难？
• RQ2 计算高效的算法能否实现在线性MDP中无奖励RL的样本复杂度对 $d$ 的最优依赖性？
• RQ3 无奖励RL中的探索程序是否与最大状态访问概率的倒数呈最优缩放？
• RQ4 相同的探索机制能否用于在线性MDP中构建良好条件性的协变量？
• RQ5 有奖励RL在线性MDP中的最优样本复杂度是多少？它是否与无奖励RL的复杂度相匹配？

主要发现

• 所提出的无奖励RL算法的样本复杂度为 $\widetilde{\mathcal{O}}(d^2H^5/\epsilon^2)$，实现了对特征维度 $d$ 的最优依赖性。
• 为有奖励RL建立了 $\Omega(d^2H^2/\epsilon^2)$ 的下界，表明无奖励设置在 $d$-依赖性上并未引入额外开销。
• 该算法的探索程序实现了与最大状态访问概率倒数的最优缩放，而非其平方倒数。
• 相同的探索机制可实现最小特征值远离零的良好条件性协变量。
• 该工作首次在线性MDP中为计算高效的算法确定了最优的 $d$-依赖性，涵盖无奖励、有奖励和遗憾最小化设置。
• 结果表明，在线性MDP中，使用奖励函数指导探索在样本复杂度上并无渐近优势。