[论文解读] Random ferns method implementation for the general-purpose machine learning

Miron B. Kursa|arXiv (Cornell University)|Feb 6, 2012

Neural Networks and Applications参考文献 13被引用 6

一句话总结

该论文将 rFerns R 包中的 Random ferns 算法扩展至支持类别型和数值型特征，用袋装法替代原有的仅支持二值特征的方法，以提升误差估计和变量重要性度量——尽管准确率略低于随机森林，但训练速度更快，重要性度量表现具有竞争力，适用于特定的高速应用场景。

ABSTRACT

In this paper I present an extended implementation of the Random ferns algorithm contained in the R package rFerns. It diers from the original by the ability of consuming categorical and numer-ical attributes instead of only binary ones. Also, instead of using simple attribute subspace ensemble it employs bagging and thus produce error approximation and variable importance measure modelled after Random forest algorithm. I also present benchmarks ’ results which show that although Random ferns’ accuracy is mostly smaller than achieved by Random forest, its speed and good quality of importance measure it provides make rFerns a reasonable choice for a specific applications. 1

研究动机与目标

• 将 Random ferns 算法扩展以支持类别型和数值型输入特征，克服原始方法仅限于二值属性的限制。
• 通过将袋装法集成到 Random ferns 框架中，提升模型鲁棒性和误差估计能力。
• 提供一种类似于随机森林的变量重要性度量方法，增强模型可解释性。
• 评估 rFerns 与随机森林在准确率与速度之间的权衡，以支持实际部署。
• 展示 rFerns 在训练速度和重要性度量质量至关重要的应用场景中，相较于随机森林更具适用性。

提出的方法

• 该算法通过允许直接处理类别型和数值型特征，而非依赖二值编码，扩展了 Random ferns。
• 在 Random ferns 框架中应用袋装法，生成多个弱学习器，以提升泛化能力和误差估计。
• 变量重要性通过一种基于随机森林重要性度量的模型计算，即通过置换特征后预测误差的增加量来衡量。
• 方法采用随机特征子采样和每片 fern 的二值分裂，但对非二值特征进行了增强处理。
• 通过避免复杂的树结构构建，仅依赖每片 fern 的简单二值分类器，实现模型训练的加速。
• 最终预测通过平均所有 fern 的输出结果得出，袋装法进一步提升了稳定性。

实验结果

研究问题

• RQ1 能否在不依赖二值编码的前提下，有效扩展 Random ferns 以处理类别型和数值型特征？
• RQ2 与原始方法相比，将袋装法集成到 Random ferns 是否能提升误差估计和模型鲁棒性？
• RQ3 rFerns 中的变量重要性度量在质量与可靠性方面，与随机森林相比如何？
• RQ4 与随机森林相比，rFerns 在预测准确率与训练速度之间的权衡如何？
• RQ5 在哪些应用场景中，尽管准确率较低，rFerns 仍比随机森林更合适？

主要发现

• 扩展后的 rFerns 实现成功支持类别型和数值型特征，无需进行二值编码。
• 袋装法的集成改善了误差近似效果，并相比原始 Random ferns 提升了模型稳定性。
• rFerns 中的变量重要性度量与随机森林高度相似，能提供可靠的特征排序。
• rFerns 的训练时间显著快于随机森林，适用于对速度敏感的应用场景。
• 尽管 rFerns 的准确率通常低于随机森林，但考虑到其训练速度和可解释性优势，差异通常可接受。
• 基准测试结果证实，在需要快速训练和良好重要性估计但对最大准确率要求不高的场景中，rFerns 是一个合理的选择。