[论文解读] PAC-Bayes-Bernstein Inequality for Martingales and its Application to Multiarmed Bandits

Yevgeny Seldin, Nicolò Cesa‐Bianchi+3 more|arXiv (Cornell University)|Oct 31, 2011

Advanced Bandit Algorithms Research参考文献 35被引用 15

一句话总结

本文提出了一种新型的PAC-Bayesian伯恩斯坦不等式用于鞅过程，使得在强化学习中能够对探索-利用权衡进行数据依赖性分析。通过将该不等式与重要性加权采样相结合，作者为随机多臂老虎机问题推导出更紧致的遗憾界，展示了该框架在标准老虎机问题之外更复杂结构问题中的潜力。

ABSTRACT

We develop a new tool for data-dependent analysis of the exploration-exploitation trade-off in learning under limited feedback. Our tool is based on two main ingredients. The first ingredient is a new concentration inequality that makes it possible to control the concentration of weighted averages of multiple (possibly uncountably many) simultaneously evolving and interdependent martingales. The second ingredient is an application of this inequality to the exploration-exploitation trade-off via importance weighted sampling. We apply the new tool to the stochastic multiarmed bandit problem, however, the main importance of this paper is the development and understanding of the new tool rather than improvement of existing algorithms for stochastic multiarmed bandits. In the follow-up work we demonstrate that the new tool can improve over state-of-the-art in structurally richer problems, such as stochastic multiarmed bandits with side information (Seldin et al., 2011a).

研究动机与目标

• 开发一种新的理论框架，用于分析在反馈受限条件下的探索-利用权衡问题。
• 通过在非独立同分布和依赖性设定下实现数据依赖的PAC-Bayesian分析，克服最坏情况分析的局限性。
• 将PAC-Bayesian分析从监督学习扩展到涉及鞅过程的序列决策问题。
• 将新不等式应用于使用重要性加权采样的随机多臂老虎机问题，以处理反馈受限的情形。
• 为在复杂学习环境中同时分析模型阶数选择与探索-利用权衡奠定基础。

提出的方法

• 推导出一种用于多个相互依赖的演化鞅过程加权平均的新型集中不等式，将伯恩斯坦不等式推广至PAC-Bayesian框架。
• 应用重要性加权采样，即使在仅观测到所选动作奖励的受限反馈条件下，也能实现对策略的实证评估。
• 采用平滑策略（ε-平滑）来界定期望策略奖励与平滑策略奖励之间的差异，从而促进遗憾分析。
• 采用吉布斯（指数）策略，其逆温度为γt，以在探索与利用之间取得平衡，遗憾界通过对数项进行界定。
• 提出一种新颖的遗憾分解方法，将估计误差、经验遗憾与策略平滑效应分离，以实现更紧致的分析。
• 利用PAC-Bayesian框架同时控制模型复杂度与经验拟合程度，从而实现更紧致的一般化界。

实验结果

研究问题

• RQ1 能否推导出一种用于鞅过程的PAC-Bayesian伯恩斯坦不等式，以实现对反馈受限下序列学习的更紧致、数据依赖性分析？
• RQ2 如何将重要性加权采样整合进PAC-Bayesian分析，以处理随机老虎机中的探索-利用权衡？
• RQ3 所提出的框架能否通过利用结构化学习问题中的良性数据条件，改进最坏情况下的遗憾界？
• RQ4 在PAC-Bayesian约束下，策略平滑与指数加权在平衡探索与利用中起到何种作用？
• RQ5 该新不等式如何实现强化学习中模型阶数选择与探索-利用优化的联合处理？

主要发现

• 本文建立了用于鞅过程的新型PAC-Bayesian伯恩斯坦不等式，能够控制相互依赖、动态演化鞅过程加权平均的集中性。
• 所推导的随机多臂老虎机问题的遗憾界为O(ln K / γt)阶，其中K为动作数，显示出对动作数的对数依赖性。
• 策略期望奖励与其ε-平滑版本之间的差异被控制在Kε以内，从而控制了平滑带来的遗憾。
• 指数策略的经验遗憾被界定为(ln K)/γt，该界是紧致的，能够实现高效的探索-利用权衡。
• 该框架支持数据依赖性分析，其紧致程度显著优于最坏情况界，并可应用于更丰富的场景，如带有辅助信息的老虎机问题。
• 本文建立的理论基础为未来强化学习的改进提供了支持，特别是在涉及互信息正则化与模型选择的场景中。