[论文解读] X-TREPAN: a multi class regression and adapted extraction of comprehensible decision tree in artificial neural networks

Awudu Karim, Shangbo Zhou|arXiv (Cornell University)|Aug 30, 2015

Machine Learning and Data Classification参考文献 15被引用 5

一句话总结

X-TREPAN 提出了一种从训练好的人工神经网络中提取可理解决策树的新方法，将 TREPAN 算法扩展以处理多分类回归任务。通过适配单次测试 TREPAN 和 C4.5 以实现神经网络解释，该方法在不牺牲分类准确率的前提下提升了模型可解释性，经真实世界数据集的实证评估与统计检验验证。

ABSTRACT

In this work, the TREPAN algorithm is enhanced and extended for extracting decision trees from neural networks. We empirically evaluated the performance of the algorithm on a set of databases from real world events. This benchmark enhancement was achieved by adapting Single-test TREPAN and C4.5 decision tree induction algorithms to analyze the datasets. The models are then compared with X-TREPAN for comprehensibility and classification accuracy. Furthermore, we validate the experimentations by applying statistical methods. Finally, the modified algorithm is extended to work with multi-class regression problems and the ability to comprehend generalized feed forward networks is achieved.

研究动机与目标

• 通过提取可理解的决策树来提高训练好的人工神经网络的可解释性。
• 将 TREPAN 算法扩展至处理多分类回归问题。
• 在提升模型可解释性的同时保持高分类准确率。
• 通过统计分析并对比现有决策树与神经网络模型，验证该方法的有效性。
• 通过适配的决策树提取方法，实现对广义前馈神经网络的可解释性理解。

提出的方法

• 将单次测试 TREPAN 算法适配以从训练好的神经网络中提取决策树。
• 整合 C4.5 决策树归纳技术，以提升树的可理解性与性能。
• 修改提取过程以支持多分类回归任务。
• 应用统计方法验证实验结果与模型鲁棒性。
• 在真实世界数据集上进行实证评估，将 X-TREPAN 与基线模型进行比较。
• 设计一种将神经网络激活映射为可解释决策规则的框架。

实验结果

研究问题

• RQ1 TREPAN 算法能否有效扩展以支持人工神经网络中的多分类回归？
• RQ2 X-TREPAN 提取的决策树在真实世界数据集中与基线方法相比，其可理解性如何？
• RQ3 所提出方法在分类准确率与可解释性之间存在何种权衡？
• RQ4 X-TREPAN 在多大程度上保持了原始神经网络的预测性能？
• RQ5 统计验证方法在多大程度上证实了所提取决策树的可靠性？

主要发现

• X-TREPAN 有效将 TREPAN 算法扩展至支持人工神经网络中的多分类回归问题。
• 提取的决策树在保持高分类准确率的同时，显著提升了模型可解释性。
• 在真实世界数据集上的实证评估证实了适配后的单次测试 TREPAN 与 C4.5 方法的有效性。
• 统计验证支持了实验结果的可靠性和模型鲁棒性。
• 该方法通过结构化、人类可读的决策规则，实现了对广义前馈神经网络的理解。
• 该方法展示了预测性能与模型透明度之间的良好平衡。