[论文解读] Understanding Random Forests: From Theory to Practice

Gilles Louppe|arXiv (Cornell University)|Jan 1, 2014

Neural Networks and Applications参考文献 105被引用 594

一句话总结

本博士论文对随机森林进行了全面的理论与实践分析，严格考察了其学习机制、通过变量重要性度量实现的可解释性，以及在大规模数据集上的可扩展性。论文揭示了标准变量重要性估计中由于遮蔽效应和树结构导致的关键缺陷，为完全随机树提出了理论修正方法，并证明了在小规模随机子样本上训练的集成模型可在保持高性能的同时显著降低内存使用量。

ABSTRACT

Data analysis and machine learning have become an integrative part of the modern scientific methodology, offering automated procedures for the prediction of a phenomenon based on past observations, unraveling underlying patterns in data and providing insights about the problem. Yet, caution should avoid using machine learning as a black-box tool, but rather consider it as a methodology, with a rational thought process that is entirely dependent on the problem under study. In particular, the use of algorithms should ideally require a reasonable understanding of their mechanisms, properties and limitations, in order to better apprehend and interpret their results. Accordingly, the goal of this thesis is to provide an in-depth analysis of random forests, consistently calling into question each and every part of the algorithm, in order to shed new light on its learning capabilities, inner workings and interpretability. The first part of this work studies the induction of decision trees and the construction of ensembles of randomized trees, motivating their design and purpose whenever possible. Our contributions follow with an original complexity analysis of random forests, showing their good computational performance and scalability, along with an in-depth discussion of their implementation details, as contributed within Scikit-Learn. In the second part of this work, we analyse and discuss the interpretability of random forests in the eyes of variable importance measures. The core of our contributions rests in the theoretical characterization of the Mean Decrease of Impurity variable importance measure, from which we prove and derive some of its properties in the case of multiway totally randomized trees and in asymptotic conditions. In consequence of this work, our analysis demonstrates that variable importances [...].

研究动机与目标

• 提供随机森林作为机器学习方法的严谨理论与实践理解，超越黑箱使用模式。
• 探究并解决变量重要性估计中的根本性问题，特别是由遮蔽效应和不纯度误估引起的偏差。
• 分析随机森林在大规模数据集上的计算可扩展性与内存效率。
• 评估同时对样本和特征进行子采样的有效性，作为在完整数据集上训练的实用替代方案。
• 为随机森林的设计与实现贡献理论与实证见解，尤其聚焦于Scikit-Learn框架。

提出的方法

• 对随机森林进行复杂度分析，从理论与实现两个层面评估其计算效率与可扩展性。
• 在渐近条件下，理论刻画多路完全随机树背景下均值不纯度减少（MDI）变量重要性度量的特性。
• 在受控条件下推导MDI的数学性质，揭示非完全随机树中固有的偏差。
• 通过大量实证实验，比较在完整数据集与小规模随机子样本上训练的模型性能。
• 提出并评估一种双重子采样策略——同时对样本和特征进行采样，以在不损失预测准确性的情况下减少内存占用。
• 将理论发现与实际实现细节相结合，尤其在Scikit-Learn库中，以确保可复现性与实际应用价值。

实验结果

研究问题

• RQ1 在渐近与完全随机条件下，随机森林中均值不纯度减少（MDI）变量重要性度量的理论特性是什么？
• RQ2 为何标准随机森林表现出有偏的变量重要性估计？其根本原因是什么——遮蔽效应、不纯度误估，还是二叉树结构？
• RQ3 当在大规模数据集的小规模随机子样本上训练时，随机森林能否保持高性能？与完整数据集训练相比表现如何？
• RQ4 同时对特征与样本进行子采样对模型性能与内存效率有何影响？
• RQ5 如何通过变量重要性度量的理论修正来提升随机森林的可解释性？

主要发现

• 在渐近条件下，多路完全随机树中，均值不纯度减少（MDI）变量重要性度量在理论上表现良好且无偏。
• 在标准随机森林（非完全随机树）中，由于遮蔽效应与不纯度误估，变量重要性度量存在显著偏差，尤其在特征相关时更为明显。
• 决策树的二叉结构加剧了变量重要性估计的失真，尤其在特征相关时。
• 实证结果表明，在同时对特征进行子采样的前提下，基于小规模随机子样本训练的随机森林可实现与完整数据集训练相当的性能。
• 使用子样本数据可显著降低内存需求，使在标准硬件上训练大规模随机森林成为可能。
• 本研究证明，通过在多个独立小样本上训练多个模型并构建集成，是训练单个大规模数据集模型的可行且高效的替代方案。