[论文解读] When are ensembles really effective?

Ryan Theisen, Hyunsuk Kim+3 more|arXiv (Cornell University)|May 21, 2023

Machine Learning and Data Classification被引用 4

一句话总结

本文引入了集成改进率（EIR）和分歧-误差比（DER），以理论和实证方式确定集成在何时能显著提升分类性能。研究证明，当DER > 1时，即模型之间的分歧相对于其误差率较高时，集成效果最佳——此时非插值模型（如随机森林）的收益远高于插值模型（如深度神经网络），后者即使在超过插值阈值后，其集成效果也显著减弱。

ABSTRACT

Ensembling has a long history in statistical data analysis, with many impactful applications. However, in many modern machine learning settings, the benefits of ensembling are less ubiquitous and less obvious. We study, both theoretically and empirically, the fundamental question of when ensembling yields significant performance improvements in classification tasks. Theoretically, we prove new results relating the \emph{ensemble improvement rate} (a measure of how much ensembling decreases the error rate versus a single model, on a relative scale) to the \emph{disagreement-error ratio}. We show that ensembling improves performance significantly whenever the disagreement rate is large relative to the average error rate; and that, conversely, one classifier is often enough whenever the disagreement rate is low relative to the average error rate. On the way to proving these results, we derive, under a mild condition called \emph{competence}, improved upper and lower bounds on the average test error rate of the majority vote classifier. To complement this theory, we study ensembling empirically in a variety of settings, verifying the predictions made by our theory, and identifying practical scenarios where ensembling does and does not result in large performance improvements. Perhaps most notably, we demonstrate a distinct difference in behavior between interpolating models (popular in current practice) and non-interpolating models (such as tree-based methods, where ensembling is popular), demonstrating that ensembling helps considerably more in the latter case than in the former.

研究动机与目标

• 解决现代机器学习中集成是否带来非平凡性能提升的模糊性问题。
• 形式化描述集成提升或未能提升分类准确率的条件。
• 在插值模型（如深度神经网络）与非插值模型（如基于树的模型）之间，实证比较集成的有效性差异。
• 提出并验证‘能力假设’作为理论保证集成性能的最小且现实的条件。
• 为实践者提供何时应投资训练和部署集成模型的实用指导。

提出的方法

• 将集成改进率（EIR）定义为集成相对于单个模型的误差减少的相对度量。
• 引入分歧-误差比（DER）作为集成有效性的关键预测因子，衡量分歧程度相对于平均误差的大小。
• 提出‘能力’假设以排除病态情况，并实现对EIR的更紧密理论边界。
• 证明在能力假设下，EIR被DER的线性函数上下界所限制，且当DER > 1时，EIR随之增加。
• 通过在多样化任务上的实证验证，包括深度集成、随机特征模型和微调后的BERT，验证理论预测。
• 比较不同模型类别中集成的行为特征，特别区分插值模型（训练误差为零）与非插值模型。

实验结果

研究问题

• RQ1 在何种条件下，集成能在分类任务中实现显著的性能提升？
• RQ2 分歧-误差比（DER）如何预测集成改进的幅度？
• RQ3 为何插值模型（如深度神经网络）在集成中收益有限，而相比之下非插值模型（如随机森林）收益显著？
• RQ4 在真实世界机器学习场景中，能力假设在多大程度上成立？
• RQ5 EIR与DER之间的线性关系是否可在多样化模型架构和数据集上得到实证验证？

主要发现

• 当分歧-误差比（DER）超过1时，集成能显著提升性能，表明分歧程度相对于误差率较高。
• 在能力假设下，EIR被DER的线性函数上下界所限制，为预测集成收益提供了理论基础。
• 插值集成（如深度神经网络、随机特征模型）的EIR始终较低，且在超过插值阈值后，改进率急剧下降。
• 非插值模型（如随机森林）即使在模型容量增加时，仍保持较高的EIR与DER，且仅在达到零训练误差后，两项指标才趋于平稳。
• 实证结果证实，EIR与DER在多样化设置中呈现强相关性，验证了理论边界的可靠性。
• 在GLUE任务上，微调后的BERT集成表现出统一的低DER（<1）和低EIR，与理论预测一致：插值模型从集成中获益甚微。