[论文解读] Relevant Ensemble of Trees.

Gitesh Dawer, Adrian Barbu|arXiv (Cornell University)|Sep 16, 2017

Neural Networks and Applications参考文献 20被引用 4

一句话总结

该论文提出了一种新颖的方法，通过首先并行地使用独立的提升线程生成一个大规模且多样化的树池，然后从该池中选择少量树并利用损失优化方法精炼其叶节点权重，从而构建紧凑且可解释的树集成模型。与标准提升方法相比，该方法在保持模型可解释性的前提下，降低了训练损失和测试误分类误差，同时通过控制树的深度变化实现了更好的泛化性能。

ABSTRACT

Tree ensembles are flexible predictive models that can capture relevant variables and to some extent their interactions in a compact and interpretable manner. Most algorithms for obtaining tree ensembles are based on versions of boosting or Random Forest. Previous work showed that boosting algorithms exhibit a cyclic behavior of selecting the same tree again and again due to the way the loss is optimized. At the same time, Random Forest is not based on loss optimization and obtains a more complex and less interpretable model. In this paper we present a novel method for obtaining compact tree ensembles by growing a large pool of trees in parallel with many independent boosting threads and then selecting a small subset and updating their leaf weights by loss optimization. We allow for the trees in the initial pool to have different depths which further helps with generalization. Experiments on real datasets show that the obtained model has usually a smaller loss than boosting, which is also reflected in a lower misclassification error on the test set.

研究动机与目标

• 解决传统提升算法中由于损失优化动态导致的重复选择相同树的问题。
• 通过允许初始树池中的树具有不同的深度，提升模型的泛化能力。
• 将树集成的可解释性与基于损失的优化性能提升相结合。
• 在保持或提升预测准确性的前提下，降低模型复杂度，相较于标准提升方法和随机森林更具优势。

提出的方法

• 使用多个独立的提升线程并行生成大规模决策树池。
• 允许初始树池中的树具有不同的深度，以增强泛化能力和多样性。
• 基于树对整体模型的贡献，从树池中选择最相关的少量树。
• 使用损失函数对所选树的叶节点权重进行优化，以提升预测性能。
• 采用混合方法，结合提升的损失优化能力与广泛初始树池的多样性优势。

实验结果

研究问题

• RQ1 具有不同树深度的并行提升框架是否能减少标准提升中常见的循环选择行为？
• RQ2 从大规模树池中选择树的子集并精炼其叶节点权重，是否能带来优于完整提升的泛化性能？
• RQ3 所得到的模型是否能在保持更低测试误差的同时，比随机森林更具可解释性？
• RQ4 在初始树池中调整树的深度，对模型性能和稳定性有何影响？

主要发现

• 所提出的方法相比标准提升算法，实现了更低的训练损失。
• 该模型在测试集上的误分类误差低于标准提升方法，表明泛化能力得到改善。
• 初始树池中使用不同深度的树显著提升了模型性能和鲁棒性。
• 最终的集成模型比随机森林更紧凑、更可解释，同时保持或提升了预测准确性。