[论文解读] Planning to Be Surprised: Optimal Bayesian Exploration in Dynamic Environments

Yi Sun, Faustino Gomez+1 more|arXiv (Cornell University)|Mar 29, 2011

Machine Learning and Algorithms参考文献 8被引用 27

一句话总结

本文提出了一种基于信息增益作为学习进度度量的动态环境中最优贝叶斯探索策略。通过将探索建模为顺序决策问题，推导出一个平衡即时与长期信息增益的趣味性（Q）值，证明了动态规划可在有限MDP中有效近似最优策略，显著优于随机、贪婪及基于Q-learning的探索策略。

ABSTRACT

To maximize its success, an AGI typically needs to explore its initially unknown world. Is there an optimal way of doing so? Here we derive an affirmative answer for a broad class of environments.

研究动机与目标

• 解决在未知动态环境中最优动作选择的挑战，其中探索效率直接影响学习成效。
• 通过环境参数后验与先验分布之间的KL散度，将学习进度形式化为香农信息增益。
• 推导出一个理论基础坚实的探索策略，以随时间最大化累积期望信息增益。
• 证明在有限MDP中，最优贝叶斯探索可通过动态规划有效近似。
• 在受控MDP环境中，将所提方法与现有方法（如随机、贪婪及基于Q-learning的探索）进行比较。

提出的方法

• 使用潜在参数θ及其先验p(θ)建模环境，并通过条件观测模型p(o|ha;θ)利用贝叶斯更新来细化信念。
• 将信息增益定义为后验与先验分布之间的KL散度，用于衡量从历史h到h′的学习进度。
• 引入趣味性（Q）值，作为在给定历史h下采取动作a所获得的期望信息增益g(a|h)，以支持顺序决策。
• 推导信息增益的递归分解，以支持动态规划公式化，用于最优策略计算。
• 采用以期望信息增益为奖励信号的策略迭代，以近似最优贝叶斯探索策略。
• 在MDP中对转移概率使用狄利克雷先验，以支持贝叶斯推断与信息增益计算。

实验结果

研究问题

• RQ1 智能体能否在动态、部分已知环境中最优选择动作，以最大化累积期望信息增益？
• RQ2 如何正式测量并随时间分解信息增益，以支持探索中的顺序决策？
• RQ3 在贝叶斯探索背景下，即时与长期信息增益之间存在何种关系？
• RQ4 在有限MDP中，最优贝叶斯探索策略在多大程度上可通过动态规划近似？
• RQ5 与随机、贪婪及基于Q-learning的启发式探索策略相比，所提方法在信息增益累积方面表现如何？

主要发现

• 最优贝叶斯探索的动态规划近似在早期信息增益累积阶段显著优于随机、贪婪及基于Q-learning的探索。
• 使用即时信息增益作为奖励的Q-learning在确定性转移中因信息增益在初始观测后迅速下降而无法有效探索。
• 贪婪探索策略虽优于随机策略，但仍因缺乏长期规划而表现逊于DP近似。
• 所提出的趣味性（Q）值公式化方法，实现了即时与未来信息增益的合理平衡，纠正了先前方法中的关键疏漏。
• 在包含两个聚类的60状态MDP和50状态走廊环境中，基于DP的方法在4,000步内实现了最高的累积信息增益。
• 理论框架表明，在原则上，动态环境中最优贝叶斯探索是可实现的，并且可在有限MDP中通过动态规划近似。