[论文解读] Reinforcement Learning in Feature Space: Matrix Bandit, Kernels, and Regret Bound

Lin F. Yang, Mengdi Wang|arXiv (Cornell University)|May 24, 2019

Reinforcement Learning in Robotics被引用 95

一句话总结

引入 MatrixRL，一种在线强化学习算法，在特征空间中学习低维转移核心（及其核化版本），以实现近最优的后悔界限，该界限取决于特征维度而非状态-行动空间的大小。

ABSTRACT

Exploration in reinforcement learning (RL) suffers from the curse of dimensionality when the state-action space is large. A common practice is to parameterize the high-dimensional value and policy functions using given features. However existing methods either have no theoretical guarantee or suffer a regret that is exponential in the planning horizon $H$. In this paper, we propose an online RL algorithm, namely the MatrixRL, that leverages ideas from linear bandit to learn a low-dimensional representation of the probability transition model while carefully balancing the exploitation-exploration tradeoff. We show that MatrixRL achieves a regret bound ${O}\\big(H^2d\\log T\\sqrt{T}\\big)$ where $d$ is the number of features. MatrixRL has an equivalent kernelized version, which is able to work with an arbitrary kernel Hilbert space without using explicit features. In this case, the kernelized MatrixRL satisfies a regret bound ${O}\\big(H^2\\widetilde{d}\\log T\\sqrt{T}\\big)$, where $\\widetilde{d}$ is the effective dimension of the kernel space. To our best knowledge, for RL using features or kernels, our results are the first regret bounds that are near-optimal in time $T$ and dimension $d$ (or $\\widetilde{d}$) and polynomial in the planning horizon $H$.

研究动机与目标

• 通过利用特征表示来解决 RL 的维数灾难，并实现可证明的探索效率。
• 开发一种在线 RL 算法，通过回归和乐观规划学习一个低维转移核心。
• 将该方法扩展到核空间，以处理无限维的特征表示。
• 提供与特征数量（或有效核维度）相关的后悔界限，而非状态-行动空间的大小。

提出的方法

• 用核心矩阵 M* 来对转移动力学进行建模，使得 P(·|s,a)=φ(s,a)ᵀ M* ψ(·)。
• 使用脊回归估计 M*，形成 M_n，如式（2）所示。
• 通过一个矩阵置信球 B_n 构造一个乐观的 Q 函数，以在探索与开发之间取得平衡（等式（4））。
• 给出两条后悔界限：定理 1 使用 2→1 矩阵范数，定理 2 使用弗罗贝尼乌斯范数球，从而得到 O(H² d^{3/2} √T) 的后悔界，或 O(H² d √T) 的后悔界。
• 通过用核 k_φ 和 k_ψ 取代显式特征来核化 MatrixRL，得到 KernelMatrixRL，其后悔界为 O(H² ẑ √T)，其中 ẑ 是有效核维度（定理 3）。
• 提供实际实现笔记，包括闭式置信界与空间复杂度 O(d²)。

实验结果

研究问题

• RQ1 特征驱动的表示是否能够在不依赖完整状态-行动空间大小的情况下实现高效探索并获得后悔界？
• RQ2 如何使用脊回归估计转移核心并使用置信球在特征空间实现乐观 RL？
• RQ3 核化版本是否将上述保证扩展到无限维特征空间，得到怎样的后悔界？
• RQ4 以特征维度 d（或有效核维度 ẑ）和地平线 H 为单位，具体的后悔界是多少？
• RQ5 该方法是否能够在高维问题中高效实现？

主要发现

• MatrixRL 在定理 1 下达到 O(H² d log T √T) 的后悔界，或在更强约束下的定理 2 达到 O(H² d √T)。
• KernelMatrixRL 在有效核维度 ẑ 下达到 O(H² ẑ log T √T) 的后悔界（定理 3）。
• 后悔界在时间 T 与维度 d（或 ẑ）近乎最优，并且在规划时程 H 上是多项式的，不依赖于状态-行动空间的大小。
• 算法在空间 O(d²) 内运行，每一步以闭式形式更新。
• 核化版本可以通过核处理无限维空间，在有效维度上对 T 的后悔界仍保持亚线性。