[论文解读] On Function Approximation in Reinforcement Learning: Optimism in the Face of Large State Spaces

Zhuoran Yang, Chi Jin+3 more|arXiv (Cornell University)|Nov 9, 2020

Adversarial Robustness in Machine Learning被引用 1

一句话总结

本文提出了一种使用核函数或过参数化神经网络函数逼近器的乐观最小二乘值迭代算法，用于强化学习。该算法建立了与状态空间大小无关的多项式运行时间和样本复杂度，其遗憾界为 $\tilde{\mathcal{O}}(\delta_{\mathcal{F}} H^2 \sqrt{T})$，展示了在大规模强化学习中函数逼近的理论优势。

ABSTRACT

The classical theory of reinforcement learning (RL) has focused on tabular and linear representations of value functions. Further progress hinges on combining RL with modern function approximators such as kernel functions and deep neural networks, and indeed there have been many empirical successes that have exploited such combinations in large-scale applications. There are profound challenges, however, in developing a theory to support this enterprise, most notably the need to take into consideration the exploration-exploitation tradeoff at the core of RL in conjunction with the computational and statistical tradeoffs that arise in modern function-approximation-based learning systems. We approach these challenges by studying an optimistic modification of the least-squares value iteration algorithm, in the context of the action-value function represented by a kernel function or an overparameterized neural network. We establish both polynomial runtime complexity and polynomial sample complexity for this algorithm, without additional assumptions on the data-generating model. In particular, we prove that the algorithm incurs an $ ilde{\mathcal{O}}(\delta_{\mathcal{F}} H^2 \sqrt{T})$ regret, where $\delta_{\mathcal{F}}$ characterizes the intrinsic complexity of the function class $\mathcal{F}$, $H$ is the length of each episode, and $T$ is the total number of episodes. Our regret bounds are independent of the number of states, a result which exhibits clearly the benefit of function approximation in RL.

研究动机与目标

• 解决在大规模状态空间中将现代函数逼近与强化学习相结合所面临的理论挑战。
• 将探索-利用权衡与基于函数逼近的强化学习中的计算与统计权衡相结合。
• 开发一种理论基础坚实的算法，保持多项式运行时间和样本复杂度，且对数据生成模型无严格假设。
• 证明通过有效的函数逼近，遗憾界可以与状态数量无关。

提出的方法

• 为动作价值函数逼近提出了一种最小二乘值迭代算法的乐观改进版本。
• 采用核函数或过参数化神经网络表示价值函数，实现在大规模状态空间中的泛化能力。
• 使用带乐观性的正则化最小二乘更新，以在学习过程中平衡探索与利用。
• 在函数类复杂度度量 $\delta_{\mathcal{F}}$ 下分析该算法，该度量捕捉了函数空间的内在复杂度。
• 推导出与问题参数多项式相关的运行时间和样本复杂度界。
• 建立遗憾界，其依赖于 $\delta_{\mathcal{F}}$、轨迹长度 $H$ 和总轨迹数 $T$，但不依赖于状态数量。

实验结果

研究问题

• RQ1 一种乐观函数逼近算法是否能在无额外数据模型假设的前提下，在大规模状态空间强化学习中实现多项式运行时间和样本复杂度？
• RQ2 函数类的内在复杂度 $\delta_{\mathcal{F}}$ 如何影响函数逼近强化学习中的遗憾？
• RQ3 函数逼近在多大程度上可以降低遗憾界对状态数量的依赖？
• RQ4 在强化学习中，探索、函数逼近与计算效率之间的理论相互作用是怎样的？
• RQ5 核函数或神经网络函数逼近器在 episodic 强化学习的遗憾最小化方面是否具有理论依据？

主要发现

• 所提出的算法实现了多项式运行时间复杂度，其规模与问题规模和函数类复杂度成有效比例。
• 该算法的遗憾界为 $\tilde{\mathcal{O}}(\delta_{\mathcal{F}} H^2 \sqrt{T})$，且与状态数量无关。
• 遗憾界仅依赖于函数类的内在复杂度 $\delta_{\mathcal{F}}$、轨迹长度 $H$ 和总轨迹数 $T$。
• 该分析无需对数据生成模型施加额外假设，从而增强了方法的通用性。
• 结果清晰地展示了函数逼近在实现具有可证明性能保证的可扩展强化学习方面的理论优势。
• 乐观机制在函数逼近存在的情况下有效平衡了探索与利用，从而带来了优异的泛化能力和收敛特性。