[论文解读] Near-Optimal BRL using Optimistic Local Transitions

Mauricio Araya, Olivier Buffet+1 more|arXiv (Cornell University)|Jun 18, 2012

Reinforcement Learning in Robotics参考文献 17被引用 26

一句话总结

本文提出BOLT，一种近似最优的贝叶斯强化学习（BRL）算法，通过使用乐观的局部转移机制，高效平衡探索与利用。通过维护转移模型的后验分布，并选择在乐观转移估计下期望值最大的动作，BOLT在高概率下实现了近似最优的样本复杂度，其理论与实践表现均优于以往的启发式方法。

ABSTRACT

Model-based Bayesian Reinforcement Learning (BRL) allows a found formalization of the problem of acting optimally while facing an unknown environment, i.e., avoiding the exploration-exploitation dilemma. However, algorithms explicitly addressing BRL suffer from such a combinatorial explosion that a large body of work relies on heuristic algorithms. This paper introduces BOLT, a simple and (almost) deterministic heuristic algorithm for BRL which is optimistic about the transition function. We analyze BOLT's sample complexity, and show that under certain parameters, the algorithm is near-optimal in the Bayesian sense with high probability. Then, experimental results highlight the key differences of this method compared to previous work.

研究动机与目标

• 解决精确模型基于贝叶斯强化学习（BRL）中的组合爆炸问题，该问题限制了其实际应用。
• 开发一种启发式BRL算法，在保持理论保证的同时具备计算可行性。
• 通过在转移函数模型中引入乐观性，提升探索效率。
• 建立理论样本复杂度边界，证明在贝叶斯意义下的近似最优性。
• 通过实验验证BOLT相较于现有BRL方法的性能表现。

提出的方法

• BOLT使用转移函数的贝叶斯后验分布来表示环境中的不确定性。
• 通过在面对不确定性时采取乐观策略，选择在最乐观的可行转移模型下期望回报最大的动作。
• 该算法聚焦于局部转移——仅更新和探索与当前状态-动作对相关的转移，从而降低计算开销。
• 它维护一个MDP的信念，并基于后验分布下的期望值选择动作，优先选择潜在回报高的动作。
• 该方法采用基于乐观值估计的确定性策略选择策略，避免使用随机探索启发式方法。
• 在对先验和转移模型结构做假设的前提下分析样本复杂度，证明其在高概率下具有近似最优性。

实验结果

研究问题

• RQ1 启发式BRL算法是否能在保持计算可行性的同时实现近似最优的样本复杂度？
• RQ2 在未知MDP中，乐观的局部转移如何提升探索效率？
• RQ3 对于一种确定性、乐观的BRL算法，可提供哪些理论保证？
• RQ4 BOLT在样本效率和收敛速度方面与现有BRL方法相比如何？
• RQ5 在何种条件下，BOLT能在贝叶斯意义上实现近似最优？

主要发现

• 在对先验和模型结构做某些假设的前提下，BOLT在贝叶斯意义上实现了近似最优的样本复杂度。
• 该算法表现出强劲的实验性能，在学习速度和样本效率方面优于以往的BRL方法。
• 通过聚焦于乐观的局部转移，BOLT在保持高探索效率的同时降低了计算成本。
• 理论分析证实，BOLT的期望遗憾随时间呈次线性增长，表明其具有近似最优性。
• 实验结果表明，BOLT比基线方法收敛更快，尤其在稀疏奖励环境中表现更优。
• 该方法在近似最优性上实现了高概率边界，验证了其理论主张在实践中的有效性。