[论文解读] Rule Covering for Interpretation and Boosting

Ş. İlker Birbil, Mert Edali+1 more|arXiv (Cornell University)|Jul 13, 2020

Neural Networks and Applications参考文献 19被引用 4

一句话总结

本文提出了两种基于数学规划的算法，用于通过规则覆盖解释随机森林和提升决策树。第一种算法从训练好的随机森林中提取一组最小且高准确率的规则，以远少于原始模型的规则数量实现接近原始模型的性能。第二种算法采用列生成法并结合基于对偶的样本加权，迭代改进基础决策树，在多个数据集上优于标准的提升方法。

ABSTRACT

We propose two algorithms for interpretation and boosting of tree-based ensemble methods. Both algorithms make use of mathematical programming models that are constructed with a set of rules extracted from an ensemble of decision trees. The objective is to obtain the minimum total impurity with the least number of rules that cover all the samples. The first algorithm uses the collection of decision trees obtained from a trained random forest model. Our numerical results show that the proposed rule covering approach selects only a few rules that could be used for interpreting the random forest model. Moreover, the resulting set of rules closely matches the accuracy level of the random forest model. Inspired by the column generation algorithm in linear programming, our second algorithm uses a rule generation scheme for boosting decision trees. We use the dual optimal solutions of the linear programming models as sample weights to obtain only those rules that would improve the accuracy. With a computational study, we observe that our second algorithm performs competitively with the other well-known boosting methods. Our implementations also demonstrate that both algorithms can be trivially coupled with the existing random forest and decision tree packages.

研究动机与目标

• 开发一种方法，通过提取最少数量的规则来解释训练好的随机森林模型，同时保持预测准确性。
• 设计一种提升算法，仅选择最有效的规则进行生成，以提升模型性能。
• 将规则提取与基于规则的提升算法集成到现有机器学习框架中，实现最小的实现开销。
• 证明数学规划可同时提升模型的可解释性与预测性能。

提出的方法

• 第一种算法将混合整数线性规划问题公式化，以选择最少数量的规则，覆盖所有训练样本，同时最小化总基尼不纯度。
• 从训练好的随机森林中决策树的叶节点提取规则，并作为数学规划模型的输入。
• 第二种算法采用列生成法：在每次迭代中，通过定价子问题识别能降低对偶目标值的新规则，并使用对偶解作为样本权重。
• 利用线性规划的对偶最优解重新加权误分类样本，引导后续迭代中生成高影响力规则。
• 通过求解一系列松弛的线性规划问题，并仅添加最具收益的规则，迭代提升模型准确率。
• 两种算法均设计为与现有的随机森林和决策树工具包兼容，支持即插即用的集成。

实验结果

研究问题

• RQ1 从随机森林模型中提取的最少规则集是否能实现与完整集成模型相当的预测准确率？
• RQ2 基于数学规划的规则提升框架是否能优于 AdaBoost 和梯度提升等成熟提升算法？
• RQ3 将线性规划的对偶解用作样本权重，在引导规则生成方面是否具有显著效果？
• RQ4 规则覆盖在多大程度上可降低模型复杂度，同时保持准确率并提升可解释性？

主要发现

• MIRCO 算法在 15 个数据集中的 14 个上达到与随机森林相当的测试准确率，平均仅遗漏少于 6% 的测试样本。
• MIRCO 在除一个数据集外的所有数据集中生成的规则数量均少于随机森林和决策树，显著提升了可解释性。
• RCBoost 在四个数据集上优于 AdaBoost 和梯度提升，展现出与最小规则生成量相匹配的竞争力。
• RCBoost 中 RMP（定价子问题）的调用次数较低——平均低于 50 次——表明收敛效率高。
• MIRCO 的规则数量标准差在大多数数据集中低于决策树，表明其规则集生成更加稳定。
• 两种算法均成功以 Python 实现，并与现有机器学习库兼容，支持简便集成。