[论文解读] PAC-Bayesian Analysis of Martingales and Multiarmed Bandits

Yevgeny Seldin, François Laviolette+3 more|arXiv (Cornell University)|May 12, 2011

Advanced Bandit Algorithms Research参考文献 17被引用 5

一句话总结

本文提出了两种新颖的PAC-Bayesian方法，用于分析鞅过程和多臂赌博机中的依赖随机变量，克服了先前研究的局限性。在有限反馈条件下，推导出泛化误差界与遗憾界，将PAC-Bayesian分析扩展至强化学习与序列决策问题，并提供了理论保障的收敛性。

ABSTRACT

We present two alternative ways to apply PAC-Bayesian analysis to sequences of dependent random variables. The first is based on a new lemma that enables to bound expectations of convex functions of certain dependent random variables by expectations of the same functions of independent Bernoulli random variables. This lemma provides an alternative tool to Hoeffding-Azuma inequality to bound concentration of martingale values. Our second approach is based on integration of Hoeffding-Azuma inequality with PAC-Bayesian analysis. We also introduce a way to apply PAC-Bayesian analysis in situation of limited feedback. We combine the new tools to derive PAC-Bayesian generalization and regret bounds for the multiarmed bandit problem. Although our regret bound is not yet as tight as state-of-the-art regret bounds based on other well-established techniques, our results significantly expand the range of potential applications of PAC-Bayesian analysis and introduce a new analysis tool to reinforcement learning and many other fields, where martingales and limited feedback are encountered.

研究动机与目标

• 解决将PAC-Bayesian分析应用于依赖随机变量序列（特别是鞅过程）的挑战，其中独立同分布假设不成立。
• 克服现有方法在在线学习设置中处理依赖数据与有限反馈时的局限性。
• 通过支持在部分反馈下分析探索-利用权衡，将PAC-Bayesian理论扩展至强化学习。
• 为先前研究中提出的贝叶斯正则化与先验引入提供理论依据。
• 开发工具，使PAC-Bayesian边界能够应用于样本依赖性与稀疏反馈固有的领域。

提出的方法

• 提出一个新的引理，利用独立伯努利变量的期望来界定依赖随机变量的凸函数的期望。
• 利用该引理推导出鞅集中性的替代形式，替代Hoeffding-Azuma不等式，从而对依赖和有更紧密的控制。
• 将PAC-Bayesian分析与Hoeffding-Azuma不等式结合，用于分析依赖序列，特别是在多臂赌博机问题中。
• 应用加权采样策略以处理在线学习中的有限反馈，确保即使某些动作很少被采样，遗憾界依然具有意义。
• 利用指数族先验与后验分布，推导出多臂赌博机问题的PAC-Bayesian泛化误差界与遗憾界。
• 利用对数函数与KL散度的凹性，推导出在赌博机设置中后验与先验分布之间差异的紧致边界。

实验结果

研究问题

• RQ1 PAC-Bayesian分析能否扩展至处理依赖随机变量序列（如鞅过程），超越独立同分布假设？
• RQ2 PAC-Bayesian工具能否适应于仅观测到所选动作奖励的多臂赌博机问题，即在有限反馈下？
• RQ3 是否可能在部分反馈下推导出随时间改善的遗憾界，即使某些动作很少被选择？
• RQ4 能否通过PAC-Bayesian框架对强化学习中的探索-利用权衡进行严格分析？
• RQ5 强化学习中提出的互信息正则化能否通过PAC-Bayesian泛化边界得到理论支持？

主要发现

• 所提出的引理能够利用独立伯努利变量的期望来界定依赖变量凸函数的期望，为Hoeffding-Azuma不等式提供了一种新替代形式。
• 本文推导出多臂赌博机问题的PAC-Bayesian遗憾界，其随动作最小采样频率的倒数增长，但可通过加权采样策略得到改善。
• 遗憾界在有限反馈下推导得出，解决了将PAC-Bayesian分析应用于稀疏奖励在线学习中的关键挑战。
• 该分析成功将PAC-Bayesian理论与鞅集中性结合，实现了对不可数个并行鞅序列族的边界估计，其中联合界方法失效。
• 通过结合Hoeffding-Azuma与PAC-Bayesian技术，对后验与先验分布之间的KL散度进行了边界界定，导出一个自洽不等式，确保收敛性。
• 尽管遗憾界尚未达到其他方法的最先进水平，但该框架显著扩展了PAC-Bayesian分析在强化学习与依赖数据设置中的适用范围。