[论文解读] Regional Tree Regularization for Interpretability in Black Box Models

Mike Wu, Sonali Parbhoo+6 more|arXiv (Cornell University)|Aug 13, 2019

Explainable Artificial Intelligence (XAI)参考文献 32被引用 8

一句话总结

本文提出区域树正则化方法，通过在预定义的输入空间区域内鼓励生成简单、可由人类模拟的决策树，使深度神经网络具备局部可解释性。与全局树正则化相比，该方法在不损失模型准确率的前提下，实现了更高的保真度和可解释性，尤其在医疗保健应用中，临床医生验证了生成的决策树具有临床意义。

ABSTRACT

The lack of interpretability remains a barrier to the adoption of deep neural networks. Recently, tree regularization has been proposed to encourage deep neural networks to resemble compact, axis-aligned decision trees without significant compromises in accuracy. However, it may be unreasonable to expect that a single tree can predict well across all possible inputs. In this work, we propose regional tree regularization, which encourages a deep model to be well-approximated by several separate decision trees specific to predefined regions of the input space. Practitioners can define regions based on domain knowledge of contexts where different decision-making logic is needed. Across many datasets, our approach delivers more accurate predictions than simply training separate decision trees for each region, while producing simpler explanations than other neural net regularization schemes without sacrificing predictive power. Two healthcare case studies in critical care and HIV demonstrate how experts can improve understanding of deep models via our approach.

研究动机与目标

• 为解决全局树正则化在不同输入区域间难以平衡可解释性与性能的局限性。
• 通过将输入空间分解为有意义的区域，实现由人类专家指导的、上下文相关的解释。
• 开发一种可处理的、基于梯度的正则化方法，在保持模型准确率的同时促进局部简单性。
• 通过使预测在专家定义的临床亚群体内可模拟，提升安全关键领域（如医疗保健）中模型的可审计性与可信度。

提出的方法

• 该方法引入一种区域特定的树正则化惩罚项，鼓励输入空间的每个区域由紧凑的、轴对齐的决策树近似。
• 采用联合优化目标，平衡预测损失与每个区域内树复杂度的正则化项。
• 通过可微分的树深度与结构近似实现正则化，支持使用梯度下降进行端到端训练。
• 采用代理模型架构，为每个区域预测决策树的激活模式，从而实现通过树结构的反向传播。
• 该方法支持自定义代理模型训练频率与并行化处理，提升计算效率。
• 集成区域感知的注意力或掩码机制，在前向传播中将输入路由至其对应的区域树。

实验结果

研究问题

• RQ1 与全局树正则化相比，区域树正则化是否能在保持或提升预测准确率的同时提升模型可解释性？
• RQ2 区域特定的决策树在捕捉医疗数据中临床相关模式方面，与全局树相比表现如何？
• RQ3 领域专家（如临床医生）在多大程度上可以信任并验证区域解释？
• RQ4 与全局对应方法相比，区域正则化是否能带来更稳定、更有意义的优化？
• RQ5 是否可以对深度模型与其蒸馏后的区域树之间的保真度进行控制与调优，以适应实际部署需求？

主要发现

• 区域树正则化在深度模型与其蒸馏决策树之间实现了平均89%的保真度，表明两者高度一致，同时允许在困难样本上保留模型的非线性特性。
• 在重症监护数据集中，临床医生确认区域树与他们的临床推理一致，尤其指出GCS是预测通气的重要因素。
• 在HIV数据集中，临床医生观察到基线免疫功能较低的患者生成了更复杂的树结构，并增加了与药物相关的分裂节点——这与已知临床实践一致。
• 该方法找到的‘理想’最优解显著多于全局树正则化，表明其具有更好的优化稳定性和可解释性。
• 每轮训练成本相比标准模型增加了约2.7倍，但通过并行化代理模型训练与选择性微调，仍保持可接受的计算效率。