[论文解读] Sample Efficient Reinforcement Learning via Low-Rank Matrix Estimation

Devavrat Shah, Dogyoon Song+2 more|arXiv (Cornell University)|Jun 11, 2020

Reinforcement Learning in Robotics参考文献 4被引用 12

一句话总结

该论文提出了一种样本高效的强化学习算法，通过利用低秩矩阵估计来学习连续状态和动作空间中的最优Q函数。通过将Q函数表示为其谱分解并利用其低秩结构，该方法实现了$\widetilde{O}(\epsilon^{-(\max(d_1,d_2)+2)})$的样本复杂度，在最优Q函数具有低秩时，相比经典非参数界实现了指数级改进。

ABSTRACT

We consider the question of learning $Q$-function in a sample efficient manner for reinforcement learning with continuous state and action spaces under a generative model. If $Q$-function is Lipschitz continuous, then the minimal sample complexity for estimating $ε$-optimal $Q$-function is known to scale as $Ω(\frac{1}{ε^{d_1+d_2 +2}})$ per classical non-parametric learning theory, where $d_1$ and $d_2$ denote the dimensions of the state and action spaces respectively. The $Q$-function, when viewed as a kernel, induces a Hilbert-Schmidt operator and hence possesses square-summable spectrum. This motivates us to consider a parametric class of $Q$-functions parameterized by its "rank" $r$, which contains all Lipschitz $Q$-functions as $r o \infty$. As our key contribution, we develop a simple, iterative learning algorithm that finds $ε$-optimal $Q$-function with sample complexity of $\widetilde{O}(\frac{1}{ε^{\max(d_1, d_2)+2}})$ when the optimal $Q$-function has low rank $r$ and the discounting factor $γ$ is below a certain threshold. Thus, this provides an exponential improvement in sample complexity. To enable our result, we develop a novel Matrix Estimation algorithm that faithfully estimates an unknown low-rank matrix in the $\ell_\infty$ sense even in the presence of arbitrary bounded noise, which might be of interest in its own right. Empirical results on several stochastic control tasks confirm the efficacy of our "low-rank" algorithms.

研究动机与目标

• 解决连续状态和动作空间中强化学习的维度灾难问题。
• 开发一种数据高效的学习方法，无需事先了解低维特征或表示。
• 基于Q函数的谱特性，提供一种通用的参数化表示，以利用低秩结构。
• 在真实Q函数具有低秩时，实现对$\epsilon$-最优Q函数学习的可证明样本复杂度改进。
• 设计一种新颖的矩阵估计算法，确保在有界噪声下对低秩矩阵实现$\ell_\infty$-精度恢复。

提出的方法

• 将最优Q函数表示为通过核诱导的希尔伯特-施密特算子，并采用广义奇异值分解：$Q^*(s,a) = \sum_{i=1}^\infty \sigma_i f_i(s)g_i(a)$。
• 通过其秩$r$对Q函数进行参数化，形成一个包含所有利普希茨连续Q函数的参数类（当$r \to \infty$时）。
• 开发一种新颖的矩阵估计算法，可在任意有界噪声下以$\ell_\infty$-范数估计低秩矩阵。
• 通过从生成模型中迭代采样，构建在采样状态-动作对上的Q值矩阵。
• 应用低秩矩阵估计（例如核范数或软阈值法）以恢复潜在的Q函数结构。
• 将矩阵估计步骤整合到强化学习循环中，通过最少的样本迭代优化Q函数估计。

实验结果

研究问题

• RQ1 能否开发一种Q函数的通用表示，使得当Q函数具有低维结构时，可实现数据高效学习？
• RQ2 当最优Q函数为低秩时，学习$\epsilon$-最优Q函数所需的最小样本复杂度是多少？
• RQ3 能否使矩阵估计算法在任意有界噪声下实现对低秩矩阵的$\ell_\infty$-精度恢复？
• RQ4 在连续控制任务中，该方法与现有方法相比，在样本效率和误差收敛性方面表现如何？
• RQ5 理论上的样本复杂度改进是否在不同折扣因子$\gamma$下依然成立？

主要发现

• 当最优Q函数具有低秩$r$且$\gamma$低于某一阈值时，所提算法对学习$\epsilon$-最优Q函数的样本复杂度为$\widetilde{O}(\epsilon^{-(\max(d_1,d_2)+2)})$。
• 该样本复杂度相比经典极小极大下界$\Omega(\epsilon^{-(d_1+d_2+2)})$（适用于一般利普希茨Q函数）实现了指数级改进。
• 在Mountain Car、Double Integrator、Cart-Pole和Acrobot任务上的实验结果表明，样本效率显著提升，$\ell_\infty$和平均误差更快收敛。
• 该方法在样本复杂度和误差降低方面均优于基线矩阵估计技术（如Soft-Impute和核范数）。
• 在Inverted Pendulum任务上，$\gamma = 0.5$的消融研究证实了收敛速度加快，验证了理论对$\gamma$的依赖关系。
• 所提出的新型矩阵估计算法即使在任意有界噪声下，也能成功实现$\ell_\infty$-范数下对低秩矩阵的恢复，该结果本身具有独立兴趣。