[论文解读] Scalable Semi-Supervised Aggregation of Classifiers

Akshay Balsubramani, Yoav Freund|arXiv (Cornell University)|Jun 18, 2015

Machine Learning and Data Classification参考文献 21被引用 11

一句话总结

该论文提出HedgeClipper，一种可扩展的半监督聚合方法，通过基于最坏情况博弈论框架利用未标记数据，提升随机森林的性能。通过将分类器预测建模为专家，并利用凸优化优化权重，该方法在标记数据有限时实现显著的准确率提升，且无需引入超参数或对集成结构作任何假设。

ABSTRACT

We present and empirically evaluate an efficient algorithm that learns to aggregate the predictions of an ensemble of binary classifiers. The algorithm uses the structure of the ensemble predictions on unlabeled data to yield significant performance improvements. It does this without making assumptions on the structure or origin of the ensemble, without parameters, and as scalably as linear learning. We empirically demonstrate these performance gains with random forests.

研究动机与目标

• 在标记数据稀缺的情况下，通过不依赖集成结构假设的方式引入未标记数据，以提升集成分类器的性能。
• 开发一种可扩展的、无超参数的聚合方法，利用未标记样本间预测的一致性来优化分类器权重。
• 通过将最坏情况博弈论原则应用于集成聚合，弥合归纳学习与半监督学习之间的鸿沟，确保鲁棒性与安全性。
• 通过将学习过程简化为可扩展的凸优化问题，并在测试时仅使用线性预测，实现半监督集成学习的实际部署。
• 证明分类器预测的多样性——尤其是与未标记数据结构结合时——可带来超越标准多数投票的性能提升。

提出的方法

• 将集成聚合建模为预测器与对手之间的零和博弈，其中预测器通过选择分类器权重来最小化最坏情况误差。
• 引入“专家”——仅在数据子集上进行预测的分类器——以建模局部预测行为，提升高多样性区域的精度。
• 基于随机森林树在未标记数据上的预测模式，构建人工专家，以保留局部结构。
• 通过从极小化最大值解导出的凸优化问题来优化分类器权重，确保可扩展性与可并行化。
• 应用Hedge算法并引入裁剪机制，以满足由未标记数据一致性与单个分类器误差边界导出的约束。
• 确保最终聚合分类器的性能始终不低于集成中表现最好的单个分类器，从而提供安全边界。

实验结果

研究问题

• RQ1 当标记数据有限时，未标记数据能否显著提升随机森林等集成分类器的性能？
• RQ2 如何利用未标记样本间预测结构来优化分类器权重，而无需对基分类器结构作任何假设？
• RQ3 无超参数、可扩展的聚合方法能否在保持理论保证的前提下，超越集成学习中的标准多数投票？
• RQ4 基分类器间预测多样性与未标记数据结构之间的相互作用，在多大程度上能增强泛化能力？
• RQ5 最坏情况博弈论框架能否实现高效且有效的鲁棒与安全聚合，适用于真实世界数据集？

主要发现

• 在标记样本极少的数据集（如10个）上，HedgeClipper始终优于标准随机森林，在kagg-prot数据集上AUC达到0.714，而随机森林为0.665。
• 在包含10万标记样本的SUSY数据集上，HedgeClipper的AUC达到0.799，略高于最佳基线方法（0.797），展现出在大规模数据上的强劲性能。
• 在包含1万标记样本的webspam-uni数据集上，HedgeClipper的AUC达到0.967，超过次优方法（0.970），在高维文本数据上表现出色的泛化能力。
• 该方法在低数据场景下（如仅10个标记样本）实现显著性能提升，此时性能增益最为明显，归因于对未标记结构的有效利用。
• 当集成多样性较高时，性能增益最为显著；在特征分裂有限的低维玩具数据集中，改进幅度较小，证实了预测多样性在其中的关键作用。
• HedgeClipper保持了安全保证：其准确率始终不低于集成中表现最好的单个分类器，该结论由理论框架所证明。