[论文解读] Near-Optimal Offline Reinforcement Learning via Double Variance Reduction

Minghao Yin, Yu Bai+1 more|arXiv (Cornell University)|Feb 2, 2021

Reinforcement Learning in Robotics参考文献 60被引用 18

一句话总结

该论文提出OPDVR，一种新颖的离线强化学习算法，采用双重方差缩减技术以实现近似最优的样本复杂度。它证明了OPDVR在有限horizon平稳MDP中以$\widetilde{O}(H^{2}/d_{m}\epsilon^{2})$次离线episode找到$\epsilon$-最优策略，相比先前工作提升了$H$因子，并在对数因子内匹配了新的信息论下界。

ABSTRACT

We consider the problem of offline reinforcement learning (RL) -- a well-motivated setting of RL that aims at policy optimization using only historical data. Despite its wide applicability, theoretical understandings of offline RL, such as its optimal sample complexity, remain largely open even in basic settings such as \emph{tabular} Markov Decision Processes (MDPs). In this paper, we propose Off-Policy Double Variance Reduction (OPDVR), a new variance reduction based algorithm for offline RL. Our main result shows that OPDVR provably identifies an $ε$-optimal policy with $\widetilde{O}(H^2/d_mε^2)$ episodes of offline data in the finite-horizon stationary transition setting, where $H$ is the horizon length and $d_m$ is the minimal marginal state-action distribution induced by the behavior policy. This improves over the best known upper bound by a factor of $H$. Moreover, we establish an information-theoretic lower bound of $Ω(H^2/d_mε^2)$ which certifies that OPDVR is optimal up to logarithmic factors. Lastly, we show that OPDVR also achieves rate-optimal sample complexity under alternative settings such as the finite-horizon MDPs with non-stationary transitions and the infinite horizon MDPs with discounted rewards.

研究动机与目标

• 为填补在表格型MDP中离线强化学习样本复杂度理论理解上的空白。
• 开发一种在有限horizon平稳MDP中实现离线策略优化最优样本复杂度的算法。
• 建立紧密的信息论下界，以验证所提算法的最优性。
• 将算法的最优性扩展至非平稳和无限horizon折扣MDP。
• 解决先前方差缩减方法在离线强化学习中对初始化的依赖问题。

提出的方法

• OPDVR采用基于随机值迭代的框架，并结合双重方差缩减以稳定从离线数据中学习。
• 它应用加倍技术以克服标准方差缩减算法中因初始化依赖导致的性能问题。
• 该算法使用历史轨迹对值函数执行小批量随机更新，以降低估计方差。
• 它借鉴了Sidford等人（2018a）的方差缩减形式，但针对离策略数据和平稳转移进行了适配。
• 该方法通过在任意初始化下保持集中性界，确保极小化最大值最优性。
• 它引入条件方差分解，以分析MDP中时间步之间的误差传播。

实验结果

研究问题

• RQ1 在有限horizon平稳MDP中，离线强化学习的最优样本复杂度是什么？
• RQ2 基于方差缩减的算法能否在离线设置中实现这一最优复杂度？
• RQ3 在平稳与非平稳转移模型之间，离线强化学习的样本复杂度有何差异？
• RQ4 所提算法在无限horizon折扣MDP中能否保持最优性？
• RQ5 先前方差缩减方法在离线强化学习中的理论局限性是什么，如何克服？

主要发现

• OPDVR在有限horizon平稳MDP中实现$\widetilde{O}(H^{2}/d_{m}\epsilon^{2})$的样本复杂度，以寻找$\epsilon$-最优策略，相比先前最优界提升了$H$因子。
• 本文建立了匹配的信息论下界$\Omega(H^{2}/d_{m}\epsilon^{2})$，证明OPDVR在对数因子内达到最优。
• 在有限horizon非平稳设置中，OPDVR实现$\widetilde{O}(H^{3}/d_{m}\epsilon^{2})$的样本复杂度，该结果在对数因子内为最优。
• 对于无限horizon折扣MDP，OPDVR在步数上的样本复杂度为$\widetilde{O}((1-\gamma)^{-3}/d_{m}\epsilon^{2})$，在对数因子内为最优。
• 该算法通过使用加倍过程，解决了先前方差缩减方法中的关键缺陷，消除了对初始化的依赖。
• 分析证实，OPDVR是首个在平稳设置中实现$O(H^2)$ horizons依赖的离线算法，正式将其与非平稳设置区分开来。