[论文解读] Rectified Decision Trees: Towards Interpretability, Compression and Empirical Soundness

Jiawang Bai, Yiming Li+3 more|arXiv (Cornell University)|Mar 14, 2019

Time Series Analysis and Forecasting参考文献 13被引用 13

一句话总结

本文提出Rectified Decision Trees（ReDT），一种基于知识蒸馏的方法，通过使用教师模型提供的软标签来增强决策树，从而在不需学生模型反向传播的情况下，实现性能提升、模型更小且完全可解释。ReDT在保持高可解释性的同时，相较于标准决策树，实现了更好的压缩效果和经验上的稳健性，通过特征重要性分析实现可解释性增强。

ABSTRACT

How to obtain a model with good interpretability and performance has always been an important research topic. In this paper, we propose rectified decision trees (ReDT), a knowledge distillation based decision trees rectification with high interpretability, small model size, and empirical soundness. Specifically, we extend the impurity calculation and the pure ending condition of the classical decision tree to propose a decision tree extension that allows the use of soft labels generated by a well-trained teacher model in training and prediction process. It is worth noting that for the acquisition of soft labels, we propose a new multiple cross-validation based method to reduce the effects of randomness and overfitting. These approaches ensure that ReDT retains excellent interpretability and even achieves fewer nodes than the decision tree in the aspect of compression while having relatively good performance. Besides, in contrast to traditional knowledge distillation, back propagation of the student model is not necessarily required in ReDT, which is an attempt of a new knowledge distillation approach. Extensive experiments are conducted, which demonstrates the superiority of ReDT in interpretability, compression, and empirical soundness.

研究动机与目标

• 为解决机器学习模型中可解释性与性能之间的权衡，特别是树模型和深度学习模型中的问题。
• 开发一种方法，在保留决策树可解释性的同时，提升其性能和模型压缩能力。
• 通过引入一种新型的无需反向传播的蒸馏框架，消除知识蒸馏中对学生模型反向传播的需求。
• 通过基于多折交叉验证的方法，减少软标签获取过程中的过拟合与随机性。

提出的方法

• 通过在基尼不纯度计算中用硬标签与软标签的加权混合替代传统硬标签，扩展经典决策树构建方法。
• 基于最大软标签概率引入伪类别，以维持纯节点停止条件。
• 使用软标签混合系数 α 平衡硬标签与软标签的贡献，从而控制模型大小与泛化能力。
• 采用多折交叉验证生成稳定、噪声更少的软标签，降低过拟合与随机性。
• 设计一种蒸馏框架，其中学生模型（ReDT）无需反向传播，与传统知识蒸馏方法不同。
• 通过特征重要性分析（如MNIST中的关键像素）可视化并增强决策路径的可解释性。

实验结果

研究问题

• RQ1 通过利用教师模型提供的软标签，决策树能否在保持可解释性的同时实现更好的性能与压缩效果？
• RQ2 知识蒸馏如何适配经典决策树，且无需在学生模型中进行反向传播？
• RQ3 软标签混合系数 α 对模型大小、准确率与泛化能力有何影响？
• RQ4 基于多折交叉验证的软标签获取方法能否提升蒸馏过程中软标签获取的鲁棒性与可靠性？
• RQ5 ReDT在可解释性与经验稳健性方面，相较于标准决策树能有多大程度的超越？

主要发现

• ReDT的模型大小小于标准决策树，所有数据集上的压缩率（Node(ReDT)/Node(DT)）均稳定低于1。
• 随着软标签混合系数 α 的减小，ReDT的模型大小进一步减小，表明对软标签的更高依赖可生成更紧凑的树结构。
• ReDT展现出优越的经验稳健性，在保持高可解释性的同时，性能可与教师模型（如随机森林和GBDT）相媲美。
• 通过MNIST中的关键像素可视化，ReDT的决策路径具有语义意义，高度可解释。
• 基于多折交叉验证的软标签获取方法降低了随机性与过拟合，提升了蒸馏过程的稳定性和可靠性。
• ReDT是首个在经典决策树中实现无需学生模型反向传播的知识蒸馏框架，提供了一种新颖且高效的蒸馏方法。