[论文解读] Risk Bounds and Rademacher Complexity in Batch Reinforcement Learning

Yaqi Duan, Chi Jin+1 more|arXiv (Cornell University)|Mar 25, 2021

Reinforcement Learning in Robotics参考文献 14被引用 14

一句话总结

本文通过使用 Rademacher 复杂度来表征泛化性能，在极少假设下建立了批量强化学习的风险边界。结果表明，在双采样设置下，经验风险最小化（ERM）的超额风险受 Rademacher 复杂度的限制；在单采样设置下，此类边界在 FQI 和极小化风格算法满足完备性假设时成立，且可通过局部 Rademacher 复杂度实现快速收敛速率。

ABSTRACT

This paper considers batch Reinforcement Learning (RL) with general value function approximation. Our study investigates the minimal assumptions to reliably estimate/minimize Bellman error, and characterizes the generalization performance by (local) Rademacher complexities of general function classes, which makes initial steps in bridging the gap between statistical learning theory and batch RL. Concretely, we view the Bellman error as a surrogate loss for the optimality gap, and prove the followings: (1) In double sampling regime, the excess risk of Empirical Risk Minimizer (ERM) is bounded by the Rademacher complexity of the function class. (2) In the single sampling regime, sample-efficient risk minimization is not possible without further assumptions, regardless of algorithms. However, with completeness assumptions, the excess risk of FQI and a minimax style algorithm can be again bounded by the Rademacher complexity of the corresponding function classes. (3) Fast statistical rates can be achieved by using tools of local Rademacher complexity. Our analysis covers a wide range of function classes, including finite classes, linear spaces, kernel spaces, sparse linear features, etc.

研究动机与目标

• 通过利用 Rademacher 复杂度分析泛化性能，弥合统计学习理论与批量强化学习之间的鸿沟。
• 识别在批量强化学习中实现可靠 Bellman 误差估计与最小化的最小假设条件。
• 将风险边界从监督学习推广至使用通用函数类的值函数近似。
• 建立 Bellman 误差可作为最优性差距有效代理的条件。
• 利用局部 Rademacher 复杂度工具推导出快速统计收敛速率。

提出的方法

• 将 Bellman 误差视为值函数近似中最优性差距的代理损失。
• 在双采样设置下使用经验风险最小化（ERM），通过 Rademacher 复杂度界定向超额风险。
• 分析单采样设置，并证明在无完备性假设下存在样本效率低下。
• 引入完备性假设，以恢复 FQI 和极小化风格算法的 Rademacher 复杂度边界。
• 采用局部 Rademacher 复杂度以实现快速统计收敛速率。
• 应用 Rademacher 复杂度的压缩性质，以处理非线性函数类。

实验结果

研究问题

• RQ1 在何种最小假设下，可在批量强化学习中可靠地最小化 Bellman 误差？
• RQ2 在通用函数类下，Rademacher 复杂度能否界定向批量强化学习算法的超额风险？
• RQ3 为何在无额外假设时，单采样设置下无法实现样本高效的最小化？
• RQ4 完备性假设如何在单采样设置下恢复泛化保证？
• RQ5 局部 Rademacher 复杂度能否在批量强化学习中实现快速统计收敛速率？

主要发现

• 在双采样设置下，ERM 的超额风险受函数类的 Rademacher 复杂度界定向，且几乎无需额外假设。
• 在单采样设置下，除非满足完备性假设，否则任何算法都无法在多项式样本规模下实现小的超额风险。
• 在完备性假设下，FQI 和极小化风格算法的超额风险受其各自函数类的 Rademacher 复杂度界定向。
• 通过局部 Rademacher 复杂度工具可实现快速统计收敛速率。
• 该分析适用于多种函数类，包括有限类、线性空间、核空间以及稀疏线性特征。
• 研究结果为统计学习理论与批量强化学习之间通过 Rademacher 复杂度建立理论基础。