[论文解读] Stochastic Feature Mapping for PAC-Bayes Classification

Xiong Li, Tai Sing Lee+1 more|arXiv (Cornell University)|Apr 12, 2012

Bayesian Methods and Mixture Models参考文献 19被引用 5

一句话总结

本文提出了一种新颖的PAC-Bayes框架，通过从MAP分类器导出的与模型参数无关的随机特征映射，统一了生成模型与判别模型。通过使用类似EM的算法最小化显式的PAC-Bayes风险边界，该方法实现了生成模型与特征映射的联合调优，在监督和半监督设置下均实现了最先进的分类性能，并提升了泛化能力。

ABSTRACT

Probabilistic generative modeling of data distributions can potentially exploit hidden information which is useful for discriminative classification. This observation has motivated the development of approaches that couple generative and discriminative models for classification. In this paper, we propose a new approach to couple generative and discriminative models in an unified framework based on PAC-Bayes risk theory. We first derive the model-parameter-independent stochastic feature mapping from a practical MAP classifier operating on generative models. Then we construct a linear stochastic classifier equipped with the feature mapping, and derive the explicit PAC-Bayes risk bounds for such classifier for both supervised and semi-supervised learning. Minimizing the risk bound, using an EM-like iterative procedure, results in a new posterior over hidden variables (E-step) and the update rules of model parameters (M-step). The derivation of the posterior is always feasible due to the way of equipping feature mapping and the explicit form of bounding risk. The derived posterior allows the tuning of generative models and subsequently the feature mappings for better classification. The derived update rules of the model parameters are same to those of the uncoupled models as the feature mapping is model-parameter-independent. Our experiments show that the coupling between data modeling generative model and the discriminative classifier via a stochastic feature mapping in this framework leads to a general classification tool with state-of-the-art performance.

研究动机与目标

• 为解决生成模型与判别分类器之间缺乏原则性耦合的问题，该问题限制了通过联合调优提升性能的能力。
• 开发一种能利用生成模型中隐藏信息的特征映射，同时保持与模型参数的独立性，以实现稳定优化。
• 在监督和半监督学习中，为使用所推导特征映射的线性随机分类器推导显式的PAC-Bayes风险边界。
• 通过类似EM的迭代过程实现端到端训练，同时更新隐藏变量的后验分布与模型参数。
• 通过统一的风险最小化框架，联合优化生成模型参数与特征映射，实现最先进的分类准确率。

提出的方法

• 从作用于指数族生成模型的实用MAP分类器的线性形式中，推导出与模型参数无关的随机特征映射。
• 构建一个基于所推导特征映射的Gibbs（随机）分类器，支持概率决策。
• 为该随机分类器推导显式的PAC-Bayes风险边界，整合了监督和半监督损失分量。
• 提出一种类似EM的迭代优化过程：E步使用当前模型参数计算隐藏变量的后验分布，M步通过在风险边界上进行梯度下降来更新模型参数。
• 利用Jensen不等式，为风险边界中难以计算的KL散度项推导出可处理的上界，从而实现高效优化。
• 在优化过程中使用蒙特卡洛采样来近似隐藏变量后验分布的期望。

实验结果

研究问题

• RQ1 能否使从MAP分类器导出的随机特征映射与模型参数无关，以实现与判别分类器的稳定联合优化？
• RQ2 能否为使用此类特征映射的线性随机分类器，在监督和半监督设置下推导出显式的PAC-Bay斯风险边界？
• RQ3 所提出的用于联合模型与特征映射调优的类似EM优化过程，是否相比解耦模型能带来更好的分类性能？
• RQ4 该框架能否通过利用生成模型中的隐藏信息，同时保持计算可行性，实现最先进性能？
• RQ5 通过随机特征映射将生成建模与判别分类耦合，对低数据量场景下的泛化能力有何影响？

主要发现

• 所提出的框架在多个基准数据集上实现了最先进的分类性能，优于现有的混合模型与解耦模型。
• 随机特征映射能够有效利用结构化数据（如变长序列）中的隐藏变量，改善特征表示。
• 半监督学习实验表明，仅使用少量标注样本即可实现一致的性能提升，证明了该框架的数据效率。
• 由于风险边界与特征映射的结构，所推导的隐藏变量后验分布始终可计算。
• 模型参数更新规则保持简单且与解耦模型相同，因为特征映射与模型参数无关。
• 该框架成功在PAC-Bayes理论下耦合了生成与判别学习，通过统一目标实现了对两个组件的联合调优。