[论文解读] pre: An R Package for Fitting Prediction Rule Ensembles

Marjolein Fokkema|arXiv (Cornell University)|Jul 22, 2017

Neural Networks and Applications被引用 3

一句话总结

本文介绍了 R 包 pre，该包采用 Friedman 和 Popescu（2008）的方法论，实现预测规则集成（PREs），用于生成回归和分类任务的稀疏、可解释模型。PREs 在使用更少变量的同时，实现了与随机森林相当的预测准确性，从而在可解释性与性能之间取得了良好平衡。

ABSTRACT

Prediction rule ensembles (PREs) are sparse collections of rules, offering highly interpretable regression and classification models. This paper presents the R package pre, which derives PREs through the methodology of Friedman and Popescu (2008). The implementation and functionality of package pre is described and illustrated through application on a dataset on the prediction of depression. Furthermore, accuracy and sparsity of PREs is compared with that of single trees, random forest and lasso regression in four benchmark datasets. Results indicate that pre derives ensembles with predictive accuracy comparable to that of random forests, while using a smaller number of variables for prediction.

研究动机与目标

• 开发并实现一个 R 包 pre，用于拟合预测规则集成（PREs），在模型可解释性与预测准确性之间实现平衡。
• 将 PREs 应用于真实世界数据集，用于预测抑郁症，展示其在健康信息学中的实际应用价值。
• 在多个基准数据集上，对比 PREs 与单棵决策树、随机森林和套索回归在预测准确性和稀疏性方面的表现。
• 验证 PREs 在使用比竞争方法更少的预测变量的同时，仍能保持高水平的预测性能。

提出的方法

• pre 包实现了 Friedman 和 Popescu（2008）提出的预测规则集成方法论，该方法结合了基于规则的建模与正则化技术。
• 通过拟合一系列回归或分类树，并利用惩罚似然方法选择最具预测力的规则，生成稀疏规则集成。
• 该方法采用前向逐步选择过程，并施加类似套索的惩罚，以选择最小化规则集合，从而最大化预测性能。
• 最终的集成模型是所选规则的加权组合，确保了稀疏性和可解释性。
• 该包支持回归和分类任务，内置交叉验证与模型诊断功能。

实验结果

研究问题

• RQ1 通过 pre 包生成的预测规则集成能否在预测准确性上与随机森林相当？
• RQ2 预测规则集成的稀疏性与套索回归和单棵决策树相比如何？
• RQ3 PREs 在基准数据集上能否在保持高预测性能的同时，维持良好的可解释性？
• RQ4 pre 包是否能有效支持在真实应用场景（如抑郁症预测）中构建稀疏且高精度的模型？

主要发现

• 通过 pre 包生成的预测规则集成在所有四个基准数据集上的预测准确性与随机森林相当。
• 与随机森林相比，使用 pre 生成的集成模型在预测中使用的变量数量更少，从而增强了可解释性。
• 在测试数据集中，该方法在预测准确性上优于单棵决策树和套索回归。
• 在抑郁症预测数据集上的应用展示了所生成规则集成的实际应用价值与可解释性。