[论文解读] Q* Approximation Schemes for Batch Reinforcement Learning: A Theoretical Comparison

Tengyang Xie, Nan Jiang|arXiv (Cornell University)|Mar 9, 2020

Reinforcement Learning in Robotics参考文献 27被引用 16

一句话总结

本论文提出并理论分析了两种批量强化学习算法 MSBO 和 MABO，用于近似最优 Q-值函数 $Q^\star$。MABO 使用显式重要性加权校正和平均损失目标，实现与时域线性相关的误差传播，避免了经典方法中的二次依赖，从而实现更紧密的分布偏移表征和比基于平方损失的方法更直接的性能保证。

ABSTRACT

We prove performance guarantees of two algorithms for approximating $Q^\star$ in batch reinforcement learning. Compared to classical iterative methods such as Fitted Q-Iteration---whose performance loss incurs quadratic dependence on horizon---these methods estimate (some forms of) the Bellman error and enjoy linear-in-horizon error propagation, a property established for the first time for algorithms that rely solely on batch data and output stationary policies. One of the algorithms uses a novel and explicit importance-weighting correction to overcome the infamous "double sampling" difficulty in Bellman error estimation, and does not use any squared losses. Our analyses reveal its distinct characteristics and potential advantages compared to classical algorithms.

研究动机与目标

• 解决经典批量强化学习算法（如 Fitted Q-Iteration）中时域的二次依赖问题，该问题导致性能保证不理想。
• 为批量强化学习算法构建一个理论框架，通过更紧致的浓缩系数而非松散的逐步定义来表征分布偏移。
• 通过使用平均损失而非平方损失目标，缩小优化目标（平方损失）与实际性能指标（期望回报）之间的差距。
• 在较弱的函数近似假设下建立可证明的性能保证，特别是通过重要性加权函数类增强表达能力。

提出的方法

• 提出 MABO，一种新颖的极小极大算法，使用普通平均损失而非平方损失来估计贝尔曼误差，避免了性能界中的间接松弛。
• 采用显式重要性加权校正，解决贝尔曼误差估计中的双重采样问题，使批量数据的使用无需交互式轨迹。
• 使用辅助函数类 $\mathcal{W}$ 表示重要性权重 $w_{\frac{d_{\pi_Q}}{\mu}}$，确保平均贝尔曼误差可被准确近似。
• 应用望远镜论证法证明线性时域误差传播，优于先前因 $\mathcal{O}(1/(1-\gamma)^2)$ 依赖而受限的界。
• 基于占用测度建立基于浓缩系数的性能保证，其紧致性优于传统的逐步定义。
• 证明在低秩 MDP 动力学下，一个大小为 $O(k)$ 的简单 $\mathcal{W}$ 可实现零近似误差 $\varepsilon_{\mathcal{Q},\mathcal{W}}^{\mathrm{avg}} = 0$，在不增加统计复杂度的前提下增强表达能力。

实验结果

研究问题

• RQ1 批量强化学习算法是否能在不依赖交互式环境访问或已知转移模型的前提下实现与时域线性相关的误差传播？
• RQ2 是否能使用更紧致、更具可解释性的浓缩系数而非逐步密度比来表征批量强化学习中的分布偏移？
• RQ3 平均损失目标是否可替代平方损失，以缩小批量强化学习中优化目标与性能目标之间的差距？
• RQ4 显式重要性加权校正是否能消除批量设置中贝尔曼误差估计对双重采样的依赖？
• RQ5 通过结构化的辅助类（如 $\mathcal{W}$）是否可增强函数近似器的表达能力，而不会增加统计复杂度？

主要发现

• MABO 实现了与时域线性相关的误差传播，优于经典迭代方法（如 Fitted Q-Iteration）的 $\mathcal{O}(1/(1-\gamma)^2)$ 依赖。
• MABO 的性能损失被限制在 $\frac{2\|Q - Q^\star\|_\infty}{1 - \gamma}$ 以内，该界为最优且与线性依赖的理论下界一致。
• MABO 使用平均损失和显式重要性加权，避免了平方损失到平均损失转换的松散性，从而获得更直接、更紧致的性能保证。
• MABO 中的分布偏移效应由单一、紧致的浓缩系数 $C_{\mathrm{eff},\mathcal{W}}$ 表征，其简洁性和有效性显著优于基于逐步的定义。
• 在低秩 MDP 中，大小为 $O(k+1)$ 的 $\mathcal{W}$ 即可实现零近似误差 $\varepsilon_{\mathcal{Q},\mathcal{W}}^{\mathrm{avg}} = 0$，即使 $w_{\frac{d_{\pi_Q}}{\mu}}$ 不属于 $\mathrm{sp}(\mathcal{W})$，这是由于 $\mathcal{Q}$ 的线性结构所致。
• MABO 的统计速率包含因重要性加权导致的 $C_{\infty,\mathcal{W}}/n$ 项，但随着数据量增加，该分量可忽略不计，具有实际可行性。