[论文解读] Multiple decision trees

Suk Wah Kwok, Chris Carter|arXiv (Cornell University)|Mar 27, 2013

Data Mining Algorithms and Applications参考文献 8被引用 10

一句话总结

本文提出通过使用改进的ID3算法训练多个决策树并对其预测结果进行平均，以提升分类性能。通过聚焦于一组结构差异显著的高质量树，该方法在两个领域上的表现优于单个决策树，包括标准ID3树，证明了无需进行完整贝叶斯模型平均即可实现集成平均的有效性。

ABSTRACT

This paper describes experiments, on two domains, to investigate the effect of averaging over predictions of multiple decision trees, instead of using a single tree. Other authors have pointed out theoretical and commonsense reasons for preferring the multiple tree approach. Ideally, we would like to consider predictions from all trees, weighted by their probability. However, there is a vast number of different trees, and it is difficult to estimate the probability of each tree. We sidestep the estimation problem by using a modified version of the ID3 algorithm to build good trees, and average over only these trees. Our results are encouraging. For each domain, we managed to produce a small number of good trees. We find that it is best to average across sets of trees with different structure; this usually gives better performance than any of the constituent trees, including the ID3 tree.

研究动机与目标

• 探究通过平均多棵决策树的预测结果是否能提升单棵树模型的性能。
• 解决由于可能的树数量庞大而导致精确计算所有可能树的贝叶斯模型平均不可行的问题。
• 通过仅选择并平均一小部分高质量且结构多样的树，开发一种全模型平均的实用替代方案。
• 评估树的多样性是否能超越单个树的准确率，从而提升集成性能。
• 证明在真实世界领域中，一种可行的集成方法在实际应用中的可行性和有效性。

提出的方法

• 使用改进的ID3算法生成多棵决策树，通过调整策略以优先生成结构多样且性能优异的树。
• 不估计所有可能树的概率，而是聚焦于通过改进的ID3过程识别出的一小部分优质树。
• 将所选树的预测结果进行平均，生成最终的集成输出。
• 通过改变分裂标准或训练过程，鼓励生成结构不同的树，以提升多样性。
• 在两个基准领域上，将集成方法的性能与单棵树（包括标准ID3树）进行比较。
• 通过避免估计所有可能树的概率，绕过了全贝叶斯模型平均的需要。

实验结果

研究问题

• RQ1 通过平均多棵决策树的预测结果，是否能提升分类准确率，使其优于单棵树？
• RQ2 集成模型的性能是否依赖于构成树的结构多样性？
• RQ3 是否可以实现在不计算所有可能树的完整贝叶斯平均的情况下，实现有效的集成学习？
• RQ4 该集成方法的性能与单个ID3树及其他单棵树相比如何？
• RQ5 一小部分高质量且结构多样的树是否能产生优于集合中任意单棵树的结果？

主要发现

• 对结构多样化的多棵树进行预测平均，其表现始终优于任何单棵树，包括标准ID3树。
• 该集成方法在两个评估领域上的准确率均优于集合中表现最好的单棵树。
• 性能提升可归因于树之间的结构多样性，表明多样性有助于提升泛化能力。
• 改进的ID3算法成功生成了一小部分高质量树，适用于有效的集成平均。
• 该方法为全贝叶斯模型平均提供了一种实用的替代方案，避免了对树概率的不可行估计。
• 结果令人鼓舞，证明了该集成方法在真实世界分类任务中的可行性。