[论文解读] On Generalizing the C-Bound to the Multiclass and Multi-label Settings

François Laviolette, Emilie Morvant+2 more|arXiv (Cornell University)|Jan 13, 2015

Face and Expression Recognition参考文献 7被引用 3

一句话总结

本文通过引入新的边界定义，将适用于二分类多数投票分类器的紧致PAC-Bayesian风险界（C-bound）推广至多分类和多标签设置。基于这些广义边界的的一阶和二阶矩，推导出理论界，从而为复杂输出空间中的学习算法设计提供了泛化保证。

ABSTRACT

The C-bound, introduced in Lacasse et al., gives a tight upper bound on the risk of a binary majority vote classifier. In this work, we present a first step towards extending this work to more complex outputs, by providing generalizations of the C-bound to the multiclass and multi-label settings.

研究动机与目标

• 将原始仅适用于二分类的C-bound推广至多分类和多标签设置。
• 解决在复杂输出空间中，投票者预测多标签或非二值标签时，对多数投票分类器风险进行边界界定的挑战。
• 提出新的边界定义，以捕捉多分类和多标签投票决策的几何与统计特性。
• 基于广义边界的首阶和二阶矩，提供加权多数投票分类器泛化误差的理论界。
• 为在多分类和多标签场景下设计具有PAC-Bayesian泛化保证的新学习算法奠定基础。

提出的方法

• 基于真实类别期望得票与任一错误类别最大得票之间的差值，定义多分类边界。
• 在多分类设置中引入一种2-边界变体，通过避免使用最大值操作，简化风险界推导。
• 通过标签和投票者输出的向量表示，将边界定义推广至多标签分类。
• 为多标签设置定义一种2-边界，确保当期望得票向量与真实标签位于超平面同侧时，分类正确。
• 利用Cantelli-Chebyshev不等式作用于2-边界的首阶和二阶矩，推导出多分类和多标签设置下的C-bound。
• 证明多数投票的风险被界定为 $ 1 - \frac{(\mu_1)^2}{\mu_2} $，其中 $ \mu_1 $ 和 $ \mu_2 $ 分别为2-边界的首阶和二阶矩。

实验结果

研究问题

• RQ1 如何在保持紧致性和可解释性的同时，将C-bound推广至多分类分类？
• RQ2 何种边界定义适用于多分类多数投票分类器，以实现理论风险界？
• RQ3 能否在多标签分类中实现类似推广，其中输出为标签子集？
• RQ4 边界的首阶和二阶矩如何与复杂输出空间中多数投票集成的泛化误差相关联？
• RQ5 在学习算法设计中，使用2-边界形式替代基于最大值的边界，其理论影响是什么？

主要发现

• 基于2-边界的首阶和二阶矩，推导出多分类C-bound，为多数投票分类器的风险提供了紧致上界。
• 当平均边界 $ \mu_1 $ 为正时，该界成立，确保非平凡的泛化性能。
• 对于多标签分类，定义了2-边界，使得正值表示分类正确，从而可实现类似的误差界。
• 多标签C-bound被正式确立为 $ \mathbf{R}_D(\overline{B}_\rho) \leq 1 - \frac{(\mu_1(\overline{M}_{\rho,2}^D))^2}{\mu_2(\overline{M}_{\rho,2}^D)} $，与二分类情形一致。
• 该理论框架支持设计最小化经验C-bound的学习算法，从而在多分类和多标签设置中提升泛化性能。
• 结果将MinCq算法的原理推广至复杂输出，为多标签和多分类问题中的PAC-Bayesian学习开辟了新途径。