[论文解读] Neural Network Ensembles: Theory, Training, and the Importance of Explicit Diversity

Wenjing Li, Randy Paffenroth+1 more|arXiv (Cornell University)|Sep 29, 2021

Domain Adaptation and Few-Shot Learning参考文献 50被引用 7

一句话总结

本文提出了一种新型神经网络集成模型训练算法，明确鼓励基学习器之间的多样性，从而显著提升性能。通过理论边界严格平衡个体准确率与集成多样性，该方法在基准数据集上的误差率比当前最先进个体模型低2–6倍。

ABSTRACT

Ensemble learning is a process by which multiple base learners are strategically generated and combined into one composite learner. There are two features that are essential to an ensemble's performance, the individual accuracies of the component learners and the overall diversity in the ensemble. The right balance of learner accuracy and ensemble diversity can improve the performance of machine learning tasks on benchmark and real-world data sets, and recent theoretical and practical work has demonstrated the subtle trade-off between accuracy and diversity in an ensemble. In this paper, we extend the extant literature by providing a deeper theoretical understanding for assessing and improving the optimality of any given ensemble, including random forests and deep neural network ensembles. We also propose a training algorithm for neural network ensembles and demonstrate that our approach provides improved performance when compared to both state-of-the-art individual learners and ensembles of state-of-the-art learners trained using standard loss functions. Our key insight is that it is better to explicitly encourage diversity in an ensemble, rather than merely allowing diversity to occur by happenstance, and that rigorous theoretical bounds on the trade-off between diversity and learner accuracy allow one to know when an optimal arrangement has been achieved.

研究动机与目标

• 为了更深入地理解神经网络集成中个体学习器准确率与集成多样性之间的权衡关系。
• 为了设计一种显式促进多样性的训练算法，而非依赖随机或偶然的多样性。
• 为了证明显式鼓励的多样性在二分类和多标签分类任务中均能带来更优性能。
• 为了建立严格的理论边界，基于准确率和多样性度量识别最优的集成配置。
• 为了通过将最先进的深度神经网络整合到经过优化的集成中，以最少的额外训练提升其性能。

提出的方法

• 该方法引入一种训练目标，显式惩罚基学习器之间的高相关性，通过修改损失函数来促进多样性。
• 它利用从协方差和相关性关系中推导出的理论边界，特别是使用柯西-施瓦茨不等式来约束集成的性能。
• 该框架将学习器输出和真实标签标准化为单位方差，从而实现对集成行为的一致相关性分析。
• 理论分析推导出学习器之间平均相关性（$ r_{LL}^{(ave)} $）及其对集成与目标之间相关性（$ r_{TL}^{(ave)} $）的影响的边界。
• 训练过程仅在预训练个体学习器后增加少量额外训练轮次，因此高效且实用。
• 该方法可推广至同质和异质集成，且为同质情况提供了理论依据。

实验结果

研究问题

• RQ1 在神经网络集成中，显式多样性训练是否能带来优于依赖数据采样或提升方法带来的偶然多样性的性能？
• RQ2 个体学习器准确率与集成多样性之间的权衡由哪些理论边界所支配？
• RQ3 如何判断一个集成已实现准确率与多样性的最佳平衡？
• RQ4 显式鼓励多样性是否能在二分类和多标签分类任务中均提升性能？
• RQ5 能否通过将最先进的个体模型整合到多样性优化的集成中，进一步提升其性能？

主要发现

• 所提方法在基准数据集上的分类误差率比当前最先进个体神经网络低2–6倍。
• 通过训练目标显式鼓励多样性，相比标准集成训练方法，性能显著提升。
• 从协方差和相关性关系中推导出的理论边界为评估和优化集成配置提供了原则性方法。
• 该方法仅需在预训练个体学习器后增加少量额外训练轮次，计算效率高。
• 结果表明，学习器之间平均相关性（$ r_{LL}^{(ave)} $）与集成准确率之间存在强烈且普遍的关联，即使理论边界仅限于同质集成。
• 数值实验确认，准确率与多样性的权衡微妙，可通过显式训练进行优化，从而实现更优的泛化性能。