[论文解读] PAC-Bayes Generalisation Bounds for Heavy-Tailed Losses through Supermartingales

Maxime Haddouche, Benjamin Guedj|arXiv (Cornell University)|Oct 3, 2022

Machine Learning and Algorithms被引用 10

一句话总结

该论文在仅假设方差有界的前提下，为具有重尾损失的学习算法建立了新颖的PAC-Bayesian泛化界。通过利用适用于半鞅的马尔可夫不等式扩展，该框架统一了批量学习与在线学习，使得在无需亚高斯或亚指数尾部假设的前提下，能够对无界鞅和重尾设定获得紧致的界。

ABSTRACT

While PAC-Bayes is now an established learning framework for light-tailed losses (\emph{e.g.}, subgaussian or subexponential), its extension to the case of heavy-tailed losses remains largely uncharted and has attracted a growing interest in recent years. We contribute PAC-Bayes generalisation bounds for heavy-tailed losses under the sole assumption of bounded variance of the loss function. Under that assumption, we extend previous results from \citet{kuzborskij2019efron}. Our key technical contribution is exploiting an extention of Markov's inequality for supermartingales. Our proof technique unifies and extends different PAC-Bayesian frameworks by providing bounds for unbounded martingales as well as bounds for batch and online learning with heavy-tailed losses.

研究动机与目标

• 将PAC-Bayesian泛化理论从轻尾损失（例如亚高斯）扩展至重尾损失函数。
• 开发一个统一的理论框架，适用于具有无界、重尾损失的批量学习与在线学习。
• 在最小假设下建立界——具体而言，仅要求损失的二阶矩有界，而无需亚高斯或亚指数尾部条件。
• 通过引入基于半鞅的证明技术，统一现有PAC-Bayesian框架，适用于无界鞅。
• 为现代学习场景（如使用无界回归损失训练的神经网络）提供更紧致、更实用的泛化界基础。

提出的方法

• 利用专为半鞅设计的马尔可夫不等式扩展，以控制无界、重尾设定下的尾部概率。
• 应用测度变换不等式（Csiszár, 1975），将后验分布下的期望损失与先验的KL散度及损失的矩生成函数联系起来。
• 提出一种新颖的证明技术，通过使用半鞅集中不等式对高概率界控制经验方差，从而处理无界鞅。
• 通过将损失的累积遗憾建模为具有有界二阶矩的鞅差序列，推导出批量学习和在线老虎机设置下的泛化界。
• 在多臂老虎机中使用重要性加权奖励，以构建期望奖励的无偏估计量，从而能够应用半鞅工具。
• 为任意后验分布推导出经验与真实遗憾之间偏差的高概率界，显式依赖于最小策略概率和置信水平。

实验结果

研究问题

• RQ1 是否可以在不假设亚高斯或亚指数尾部的前提下，将PAC-Bayesian泛化界扩展至重尾损失函数？
• RQ2 如何利用半鞅集中不等式为在线学习中出现的无界鞅推导出紧致界？
• RQ3 是否可能在单一理论基础下统一具有无界、重尾损失的批量与在线PAC-Bayesian框架？
• RQ4 有界方差对PAC-Bayesian界在实际学习场景中的紧致性和适用性有何影响？
• RQ5 所提出的框架是否能恢复或改进在具有无界奖励的多臂老虎机中的现有界？

主要发现

• 该论文在仅假设方差有界的前提下，为重尾损失建立了新的PAC-Bayesian泛化界，扩展了Kuzborskij和Szepesvári（2019）的前期工作。
• 所提出的在线多臂老虎机无界奖励的界以概率 $1 - u$ 成立，形式为 $ ig| riangle(Q) - ilde{ riangle}_m(Q) ig| riangleq 2rac{1}{ u} rac{1}{m} ig( ext{log}(K) + ext{log}(4/ u) ig) $，其中在平方根内含有 $1/ u$ 的依赖。
• 该界与Seldin等人（2012a）的界相比，仅相差一个因子 $ ig(1 + rac{2K}{ u}ig) $，该因子在 $K$ 上有显著依赖，但依然保留在平方根内。
• 该框架具有足够的通用性，可恢复并统一多个现有的PAC-Bayesian界，表明半鞅为强大且统一的理论工具。
• 该方法可为使用无界回归损失训练的神经网络及其他复杂模型提供泛化保证，而传统有界损失假设在此类场景中不成立。
• 该方法受限于单时间点界，因使用了粗糙的经验方差界，将该方法扩展至所有时间步的统一界仍是开放挑战。