[论文解读] Pac-Bayesian Supervised Classification: The Thermodynamics of Statistical Learning

Olivier Catoni|ArXiv.org|Dec 3, 2007

Machine Learning and Algorithms参考文献 21被引用 204

一句话总结

本文提出了一种用于监督分类的PAC-Bayesian框架，利用凸分析和相对熵推导出局部化和相对边界，以自适应地控制模型复杂度。引入了有效温度的概念以量化泛化误差，实现对边缘和参数假设的数据驱动适应，并达到最优收敛速率。

ABSTRACT

This monograph deals with adaptive supervised classification, using tools borrowed from statistical mechanics and information theory, stemming from the PACBayesian approach pioneered by David McAllester and applied to a conception of statistical learning theory forged by Vladimir Vapnik. Using convex analysis on the set of posterior probability measures, we show how to get local measures of the complexity of the classification model involving the relative entropy of posterior distributions with respect to Gibbs posterior measures. We then discuss relative bounds, comparing the generalization error of two classification rules, showing how the margin assumption of Mammen and Tsybakov can be replaced with some empirical measure of the covariance structure of the classification model.We show how to associate to any posterior distribution an effective temperature relating it to the Gibbs prior distribution with the same level of expected error rate, and how to estimate this effective temperature from data, resulting in an estimator whose expected error rate converges according to the best possible power of the sample size adaptively under any margin and parametric complexity assumptions. We describe and study an alternative selection scheme based on relative bounds between estimators, and present a two step localization technique which can handle the selection of a parametric model from a family of those. We show how to extend systematically all the results obtained in the inductive setting to transductive learning, and use this to improve Vapnik's generalization bounds, extending them to the case when the sample is made of independent non-identically distributed pairs of patterns and labels. Finally we review briefly the construction of Support Vector Machines and show how to derive generalization bounds for them, measuring the complexity either through the number of support vectors or through the value of the transductive or inductive margin.

研究动机与目标

• 开发一种基于PAC-Bayesian工具的统计学习理论框架，用于监督分类。
• 引入基于相对熵与经验测度的局部化和相对边界，以自适应地适应模型复杂度。
• 定义并估计一种有效温度，将后验分布与Gibbs先验联系起来，以改善泛化误差控制。
• 在不同边缘和参数假设下实现自适应学习，并达到最优收敛速率。
• 通过影子样本系统性地将归纳学习扩展至归纳学习，使用边界进行系统性推导。

提出的方法

• 对后验概率测度应用凸分析，基于相对于Gibbs先验的相对熵推导边界。
• 将有效温度引入为衡量后验相对于Gibbs先验的泛化性能的指标。
• 采用两步局部化方法，通过中间后验优化边界，从族中选择参数模型。
• 利用指数参数优化与集中不等式，推导出无偏的经验边界与偏差边界。
• 应用相对边界比较两个后验分布，以经验协方差结构替代边缘假设。
• 通过影子样本与高斯近似，将结果扩展至归纳学习，改进方差项估计。

实验结果

研究问题

• RQ1 如何对PAC-Bayesian边界进行局部化，以在分类中改善泛化误差控制？
• RQ2 有效温度在连接后验分布与Gibbs先验中起什么作用？它如何从数据中估计？
• RQ3 后验之间的相对边界是否可以替代泛化误差分析中的边缘假设？
• RQ4 两步局部化如何增强在参数族中的模型选择？
• RQ5 在自适应边缘与参数假设下，泛化误差的最优收敛速率是什么？

主要发现

• 后验分布的有效温度可从数据中估计，从而在任意边缘与参数复杂度假设下实现对泛化误差的自适应控制。
• 在一般边缘与参数假设下，该论文实现了期望误差率的最优收敛速率，且为自适应形式。
• 后验之间的相对边界允许用分类模型协方差结构的经验度量替代Mammen-Tsybakov边缘假设。
• 两步局部化通过中间后验优化边界，实现从族中选择参数模型，提升自适应能力。
• 通过影子样本系统性地扩展了归纳边界，高斯近似改进了方差项估计。
• 该框架在归纳与归纳设置下均实现了最优收敛速率，通过系统推导边界与关键参数的实证估计得到验证。