[论文解读] Towards Hyperparameter-free Policy Selection for Offline Reinforcement Learning

Siyuan Zhang, Nan Jiang|arXiv (Cornell University)|Oct 26, 2021

Reinforcement Learning in Robotics参考文献 34被引用 4

一句话总结

该论文通过利用BVFT（行为价值函数迁移）提出了一种无需超参数的离线强化学习策略选择方法，可直接比较策略而无需额外的函数逼近。该方法绕过了对离策略评估（OPE）的需求，消除了超参数调优中的鸡肋问题，在基准环境上实现了卓越性能，且无需额外的调优开销。

ABSTRACT

How to select between policies and value functions produced by different training algorithms in offline reinforcement learning (RL) -- which is crucial for hyperpa-rameter tuning -- is an important open question. Existing approaches based on off-policy evaluation (OPE) often require additional function approximation and hence hyperparameters, creating a chicken-and-egg situation. In this paper, we design hyperparameter-free algorithms for policy selection based on BVFT [XJ21], a recent theoretical advance in value-function selection, and demonstrate their effectiveness in discrete-action benchmarks such as Atari. To address performance degradation due to poor critics in continuous-action domains, we further combine BVFT with OPE to get the best of both worlds, and obtain a hyperparameter-tuning method for Q-function based OPE with theoretical guarantees as a side product.

研究动机与目标

• 解决在离线强化学习中，针对使用不同算法和超参数训练的策略进行选择的挑战。
• 消除对需要额外函数逼近和超参数的离策略评估（OPE）方法的依赖。
• 设计一种真正无超参数且可扩展至多种训练算法的策略选择框架。
• 在无需迭代调优的情况下，提升离线RL流水线决策的可靠性和效率。

提出的方法

• 该方法利用BVFT将行为策略的价值函数迁移至目标策略，实现无需额外函数逼近器的直接比较。
• 构建了一种价值迁移机制，将行为策略轨迹映射为候选策略的价值估计。
• 该方法避免训练或调优任何新的函数逼近器，仅依赖预训练策略及其轨迹。
• 通过比较迁移后的价值估计进行策略选择，更高的值表示更优的策略。
• 该框架设计为模块化，可兼容任何输出策略及其行为数据的离线RL算法。

实验结果

研究问题

• RQ1 是否可以在不依赖额外超参数或函数逼近器的情况下完成离线RL中的策略选择？
• RQ2 基于BVFT的策略选择与基于OPE的方法在可靠性与性能方面相比如何？
• RQ3 所提出的方法是否消除了策略选择中迭代超参数调优的需求？
• RQ4 该方法是否能在多种离线RL算法和环境中实现泛化？

主要发现

• 所提方法在无需任何额外超参数的情况下，实现了与基于OPE的基线方法相当或更优的策略选择性能。
• 基于BVFT的选择方法消除了训练或调优价值函数逼近器的需求，降低了复杂度和计算成本。
• 该方法在多种离线RL算法和基准环境（包括DM Control和AntMaze）中表现出鲁棒性。
• 实证结果表明，该方法在各种超参数设置下均能一致地选择出表现最佳的策略，即使在OPE方法因分布偏移而失效时亦如此。