[论文解读] The Relative Performance of Ensemble Methods with Deep Convolutional Neural Networks for Image Classification

Cheng Ju, Aurélien Bibaut+1 more|arXiv (Cornell University)|Apr 5, 2017

Machine Learning and Data Classification参考文献 30被引用 14

一句话总结

本论文评估了四种集成方法——未加权平均、多数投票、贝叶斯最优分类器和Super Learner——在CIFAR-10图像分类任务中使用深度卷积神经网络（CNN）作为基学习器的表现。Super Learner是一种数据自适应的集成方法，通过交叉验证风险最小化来优化权重，其表现始终优于其他所有方法，尤其是在引入表现较差或过度自信的模型时，展现出在异质基学习器的实际场景中具有更强的鲁棒性和优越性。

ABSTRACT

Artificial neural networks have been successfully applied to a variety of machine learning tasks, including image recognition, semantic segmentation, and machine translation. However, few studies fully investigated ensembles of artificial neural networks. In this work, we investigated multiple widely used ensemble methods, including unweighted averaging, majority voting, the Bayes Optimal Classifier, and the (discrete) Super Learner, for image recognition tasks, with deep neural networks as candidate algorithms. We designed several experiments, with the candidate algorithms being the same network structure with different model checkpoints within a single training process, networks with same structure but trained multiple times stochastically, and networks with different structure. In addition, we further studied the over-confidence phenomenon of the neural networks, as well as its impact on the ensemble methods. Across all of our experiments, the Super Learner achieved best performance among all the ensemble methods in this study.

研究动机与目标

• 评估在图像分类任务中，将广泛使用的集成方法应用于深度卷积神经网络时的相对性能。
• 研究模型异质性、过度自信以及表现较差的基学习器对集成方法性能的影响。
• 评估数据自适应的集成方法（如Super Learner）是否能在实际中优于简单的平均或投票策略。
• 探索在包含欠拟合或过度自信模型的各类基学习器组合下，集成方法的鲁棒性。
• 在有限且复杂的现实数据集上，展示Super Learner在实际图像识别任务中的实用优势。

提出的方法

• 本研究使用深度CNN（VGG、ResNet、GoogLeNet、NIN）作为基学习器，通过不同的初始化、网络结构或训练轮次，构建多样化的集成模型。
• 评估了四种集成方法：未加权平均、多数投票、贝叶斯最优分类器（BOC）以及Super Learner，后者通过交叉验证风险最小化计算最优凸权重。
• 由于计算资源限制，Super Learner采用单重交叉验证方法，基于验证集优化权重以最小化预测误差。
• 集成预测在Softmax激活前或后计算，性能通过测试集准确率进行评估。
• 方法同时评估了同质基学习器库（相同架构，不同权重）和异质基学习器库（不同架构、训练轮次及优化状态）。
• Super Learner被实现为基学习器输出的可学习线性组合，本质上是在基模型输出上增加一个1×1卷积层。

实验结果

研究问题

• RQ1 当应用于性能相近且架构相似的深度CNN时，不同集成方法的表现如何？
• RQ2 在集成方法（如未加权平均和多数投票）中，引入表现较差或过度自信的基学习器会产生何种影响？
• RQ3 作为数据自适应的集成方法，Super Learner是否能在基学习器库中包含性能较差或过度自信模型时仍保持高性能？
• RQ4 引入多样化基学习器（不同架构、训练轮次）如何影响各类集成技术的相对性能？
• RQ5 Super Learner通过最优地为基学习器赋予权重，是否能在不同基学习器组合下持续带来性能提升？

主要发现

• 当使用四个基学习器（VGG、ResNet 32、44、56）时，Super Learner在CIFAR-10上达到最高测试准确率0.9477，优于表现最好的单个基学习器（0.9399）。
• 当基学习器性能相近时，未加权平均表现良好，但当加入五个表现较差的GoogLeNet模型后，性能显著下降至0.9001，显示出对劣质学习器的敏感性。
• 多数投票也受到弱学习器的负面影响，当加入五个欠拟合的GoogLeNets时，准确率下降至0.8720，而未加权平均则降至0.9001。
• 即使在加入五个表现较差的GoogLeNet模型的情况下，Super Learner仍保持稳定性能（0.9477），展现出对低质量基学习器的强鲁棒性。
• 在包含所有基学习器（包括欠拟合和过度自信模型）的情况下，Super Learner达到0.9502的测试准确率，显著优于未加权平均（0.9448）和多数投票（0.9410）。
• 在所有实验中，Super Learner的表现均持续领先，证实其能够自适应地为基学习器分配最优权重，而无需人工选择或预筛选。