[论文解读] Robust Bayesian reinforcement learning through tight lower bounds

Christos Dimitrakakis|arXiv (Cornell University)|Jun 18, 2011

Reinforcement Learning in Robotics参考文献 26被引用 4

一句话总结

该论文提出了一种新颖的鲁棒贝叶斯强化学习方法，通过使用向后归纳算法（MMBI）及其随机变体（MSBI）计算价值函数的紧致下界，识别在MDP信念分布下的近似最优无记忆策略。该方法在样本量增大时显著优于标准贝叶斯强化学习方法（如MCBRL和$\varsigma$-最优策略），得益于更紧的下界和更优的探索策略。

ABSTRACT

In the Bayesian approach to sequential decision making, exact calculation of the (subjective) utility is intractable. This extends to most special cases of interest, such as reinforcement learning problems. While utility bounds are known to exist for this problem, so far none of them were particularly tight. In this paper, we show how to efficiently calculate a lower bound, which corresponds to the utility of a near-optimal memoryless policy for the decision problem, which is generally different from both the Bayes-optimal policy and the policy which is optimal for the expected MDP under the current belief. We then show how these can be applied to obtain robust exploration policies in a Bayesian reinforcement learning setting.

研究动机与目标

• 解决在MDP信念分布下计算贝叶斯最优策略的不可行性问题。
• 开发一种计算高效的算法，为近似最优无记忆策略提供价值函数的紧致下界。
• 通过利用这些下界指导策略选择，实现在贝叶斯强化学习中的鲁棒探索。
• 通过使用多个MDP样本和更紧的策略评估，推广现有的基于采样的贝叶斯强化学习方法。
• 证明所提出的方法在基准任务上优于期望MDP启发式方法和基线贝叶斯强化学习算法。

提出的方法

• 提出MMBI（无记忆最大信念归纳），一种向后归纳过程，用于在MDP信念分布下为无记忆策略计算价值函数的下界。
• 开发MSBI（随机MMBI），即MMBI的随机变体，其在期望下提供下界，且与MMBI的差距在样本数量上为多项式有界。
• 在MCBRL算法中将MMBI/MSBI策略用作鲁棒探索策略，该算法定期从信念分布中采样多个MDP。
• 利用下界指导动作选择，确保策略在无记忆策略中为近似最优，而非依赖于期望MDP。
• 通过在有限MDP集合上进行向后归纳，高效计算价值函数和策略估计。
• 将该方法集成到贝叶斯强化学习框架中，使策略基于紧致下界而非MDP的点估计进行更新。

实验结果

研究问题

• RQ1 我们能否在MDP信念分布下，为贝叶斯强化学习中的无记忆策略计算紧致的价值函数下界？
• RQ2 MMBI/MSBI策略的性能与贝叶斯最优策略及期望MDP最优策略相比如何？
• RQ3 与现有基于采样的方法相比，所提出的方法是否能改善探索和整体学习性能？
• RQ4 MMBI策略与真实贝叶斯最优策略之间的计算与统计差距是多少？
• RQ5 在信念分布中增加采样的MDP数量是否能带来更紧的下界和更好的性能？

主要发现

• MMBI策略提供的价值函数下界显著优于期望MDP最优策略（$\hat{\mu}_{\xi}$）的下界，尤其在不确定性较高的环境中。
• 在链任务中，所提方法（算法4）在1000步内实现了3287的平均总奖励，优于MCBRL中$n=1$（3166）和$n=8$（3358）的性能，且接近更复杂算法（如Beetle和AMP-EM）的表现。
• 随着MDP采样数量（$n$）从1增加到16，总奖励从3166提升至3376，表明更多样本可带来更紧的下界和性能提升。
• 该方法将代理陷入次优状态的运行次数减少至少于1%的运行次数，表明其具有鲁棒性和可靠的性能。
• MMBI策略被证明比$\hat{\mu}_{\xi}$-最优策略更接近贝叶斯最优策略，且其理论差距与样本数量的多项式函数相关。
• MSBI算法在期望下提供接近MMBI的下界，其差距随样本数量呈多项式增长，使其具备可扩展性和实用性。