[论文解读] On Reward-Free RL with Kernel and Neural Function Approximations: Single-Agent MDP and Markov Game

Shuang Qiu, Jieping Ye+2 more|arXiv (Cornell University)|Oct 19, 2021

Reinforcement Learning in Robotics被引用 4

一句话总结

本文提出了首个在单智能体马尔可夫决策过程（MDP）和零和马尔可夫对策中，使用核函数和神经网络函数逼近的可证明高效的无奖励强化学习算法。通过采用基于函数逼近器生成的探索奖励的乐观值迭代方法，该方法在任意外在奖励下实现了获得 $\widetilde{\mathcal{O}}(1/\varepsilon^{2})$ 样本复杂度的 $\varepsilon$-次优策略或 $\varepsilon$-近似纳什均衡。

ABSTRACT

To achieve sample efficiency in reinforcement learning (RL), it necessitates efficiently exploring the underlying environment. Under the offline setting, addressing the exploration challenge lies in collecting an offline dataset with sufficient coverage. Motivated by such a challenge, we study the reward-free RL problem, where an agent aims to thoroughly explore the environment without any pre-specified reward function. Then, given any extrinsic reward, the agent computes the policy via a planning algorithm with offline data collected in the exploration phase. Moreover, we tackle this problem under the context of function approximation, leveraging powerful function approximators. Specifically, we propose to explore via an optimistic variant of the value-iteration algorithm incorporating kernel and neural function approximations, where we adopt the associated exploration bonus as the exploration reward. Moreover, we design exploration and planning algorithms for both single-agent MDPs and zero-sum Markov games and prove that our methods can achieve $\widetilde{\mathcal{O}}(1 /\varepsilon^2)$ sample complexity for generating a $\varepsilon$-suboptimal policy or $\varepsilon$-approximate Nash equilibrium when given an arbitrary extrinsic reward. To the best of our knowledge, we establish the first provably efficient reward-free RL algorithm with kernel and neural function approximators.

研究动机与目标

• 解决在无预设奖励的离线强化学习中样本高效探索的挑战。
• 开发一个统一的无奖励强化学习框架，支持非线性函数逼近器（如核函数和神经网络）。
• 将可证明高效的算法从表格型和线性设置扩展到单智能体 MDP 和马尔可夫对策中的非线性函数逼近。
• 设计探索与规划算法，在任意外在奖励下实现最优样本复杂度。

提出的方法

• 提出一种基于核函数和神经网络函数逼近器的最小二乘值迭代的乐观变体，通过函数逼近器生成探索奖励作为内在奖励。
• 在离线数据收集阶段，使用函数逼近器相关的（缩放后的）奖励作为探索奖励。
• 设计一个规划阶段，仅使用离线数据和任意给定的外在奖励来计算策略或纳什均衡。
• 在马尔可夫对策中，规划阶段涉及求解由 Q 函数构成的矩阵对策，计算效率高。
• 利用核函数和神经网络函数空间中的集中不等式与正则化方法，控制估计误差并确保泛化能力。
• 通过正则化和置信区间整合不确定性量化，以指导非线性函数逼近设置下的探索。

实验结果

研究问题

• RQ1 我们能否为单智能体 MDP 设计一种使用核函数和神经网络函数逼近的可证明高效的无奖励强化学习算法？
• RQ2 所提出的方法能否在非线性函数逼近设置下实现 $\widetilde{\mathcal{O}}(1/\varepsilon^{2})$ 的样本复杂度，以学习 $\varepsilon$-次优策略？
• RQ3 该框架能否扩展到具有类似样本效率保证的多智能体零和马尔可夫对策？
• RQ4 在缺乏外在奖励的情况下，如何有效设计与非线性函数逼近器对齐的探索奖励？

主要发现

• 所提算法在使用核函数和神经网络函数逼近的单智能体 MDP 中，实现了 $\widetilde{\mathcal{O}}(1/\varepsilon^{2})$ 的样本复杂度，以生成 $\varepsilon$-次优策略。
• 在零和马尔可夫对策中，该方法实现了 $\widetilde{\mathcal{O}}(1/\varepsilon^{2})$ 的样本复杂度，以计算 $\varepsilon$-近似纳什均衡。
• 马尔可夫对策中的规划阶段涉及求解由 Q 函数构成的矩阵对策，计算高效，且具有独立研究价值。
• 理论分析表明，该算法的误差界以高概率满足 $\mathcal{O}\left(\beta\sqrt{H^{4}[\Gamma(K,\lambda;\ker_{m})+\log(KH)]}/\sqrt{K}+H^{2}\beta\iota\right)$ 的形式。
• 该方法是首个在使用非线性函数逼近器（包括核函数和神经网络）的无奖励强化学习中提供可证明样本效率的工作。