[论文解读] Risk Bounds for the Majority Vote: From a PAC-Bayesian Analysis to a Learning Algorithm

Pascal Germain, Alexandre Lacasse+3 more|arXiv (Cornell University)|Mar 28, 2015

Machine Learning and Algorithms参考文献 54被引用 89

一句话总结

本文提出了C-bound，这是一种针对多数投票分类器的新型PAC-Bayesian风险边界，同时考虑了投票者的平均准确率和分歧度。该文推导出一种学习算法MinCq，通过二次规划最小化该边界，实现了与AdaBoost和SVM相当的最先进性能。

ABSTRACT

We propose an extensive analysis of the behavior of majority votes in binary classification. In particular, we introduce a risk bound for majority votes, called the C-bound, that takes into account the average quality of the voters and their average disagreement. We also propose an extensive PAC-Bayesian analysis that shows how the C-bound can be estimated from various observations contained in the training data. The analysis intends to be self-contained and can be used as introductory material to PAC-Bayesian statistical learning theory. It starts from a general PAC-Bayesian perspective and ends with uncommon PAC-Bayesian bounds. Some of these bounds contain no Kullback-Leibler divergence and others allow kernel functions to be used as voters (via the sample compression setting). Finally, out of the analysis, we propose the MinCq learning algorithm that basically minimizes the C-bound. MinCq reduces to a simple quadratic program. Aside from being theoretically grounded, MinCq achieves state-of-the-art performance, as shown in our extensive empirical comparison with both AdaBoost and the Support Vector Machine.

研究动机与目标

• 开发一种理论上合理的多数投票分类器风险边界，以同时捕捉投票者的平均性能与分歧度。
• 统一并扩展先前对集成方法的PAC-Bayesian分析，特别是在样本压缩和基于核函数的投票者背景下的应用。
• 从理论分析中推导出一种实用的学习算法，通过最小化C-bound来保证泛化性能的提升。
• 通过实证验证所提方法与AdaBoost和SVM等成熟算法的对比，证明其达到最先进性能。

提出的方法

• 提出C-bound作为多数投票的风险边界，明确结合了投票者的平均准确率与平均分歧度。
• 应用PAC-Bayesian理论，利用训练数据的实证观测结果来估计C-bound，结合分类器上的先验与后验分布。
• 推导出新颖的PAC-Bayesian边界，避免使用Kullback-Leibler散度，并通过样本压缩框架支持核函数作为投票者。
• 设计MinCq算法，将其作为最小化C-bound的二次规划问题，通过优化投票者权重与分歧度实现。
• 利用测度变换不等式与Jensen不等式，推导出多数投票泛化误差的高概率边界。
• 采用Gibbs分类器作为随机代理，间接约束确定性多数投票分类器的风险。

实验结果

研究问题

• RQ1 如何通过联合考虑投票者平均准确率与平均分歧度，对多数投票分类器的泛化风险进行边界界定？
• RQ2 PAC-Bayesian理论能否被扩展以推导出不依赖Kullback-Leibler散度且支持基于核函数投票者的边界？
• RQ3 能否直接从理论风险边界推导出学习算法，以在集成方法中提升泛化性能？
• RQ4 最小化所提出的C-bound是否能带来优于现有最先进算法（如AdaBoost和SVM）的泛化性能？

主要发现

• C-bound通过联合建模投票者准确率与分歧度，为多数投票分类器提供了更紧致且更具信息量的风险边界。
• 所提出的PAC-Bayesian边界使得在样本压缩框架内嵌入核函数作为投票者成为可能。
• 从最小化C-bound推导出的MinCq算法可简化为凸二次规划问题，并在基准数据集上实现了最先进性能。
• 实证结果表明，MinCq在多个数据集上的泛化准确率优于AdaBoost与支持向量机。
• 理论分析证实，确定性多数投票的风险上界为关联Gibbs分类器风险的两倍，而C-bound进一步优化了该关系。
• 推导出避免使用Kullback-Leibler散度的新边界，提供了在某些场景下更具鲁棒性的替代估计策略。