[论文解读] Transparent Model Distillation.

Sarah Tan, Rich Caruana+2 more|arXiv (Cornell University)|Jan 26, 2018

Explainable Artificial Intelligence (XAI)参考文献 17被引用 16

一句话总结

本文通过将知识从多层感知机（MLP）教师模型蒸馏到可解释的学生模型——具体为广义加法模型（GA2Ms）和梯度提升树（GBTs）——探索了透明模型蒸馏，以提升模型的可解释性。尽管GA2Ms在二分类任务中表现良好，GBTs在回归任务中展现出潜力，表明GA2Ms可能成为全局函数近似中加法分解的计算高效替代方案。

ABSTRACT

Model distillation was originally designed to distill knowledge from a large, complex teacher model to a faster, simpler student model without significant loss in prediction accuracy. We investigate model distillation for another goal -- transparency -- investigating if fully-connected neural networks can be distilled into models that are transparent or interpretable in some sense. Our teacher models are multilayer perceptrons, and we try two types of student models: (1) tree-based generalized additive models (GA2Ms), a type of boosted, short tree (2) gradient boosted trees (GBTs). More transparent student models are forthcoming. Our results are not yet conclusive. GA2Ms show some promise for distilling binary classification teachers, but not yet regression. GBTs are not directly interpretable but may be promising for regression teachers. GA2M models may provide a computationally viable alternative to additive decomposition methods for global function approximation.

研究动机与目标

• 探究模型蒸馏是否可通过将复杂神经网络的知识迁移至可解释模型，从而提升模型透明度。
• 评估广义加法模型（GA2Ms）作为二分类任务中透明学生模型的性能。
• 评估使用梯度提升树（GBTs）作为回归任务学生模型的可行性。
• 确定GA2Ms是否可作为全局函数近似中加法分解方法的计算高效替代方案。
• 探索蒸馏模型中预测准确率与可解释性之间的权衡。

提出的方法

• 从多层感知机（MLP）教师模型向学生模型应用蒸馏，利用知识蒸馏技术迁移软标签和中间激活。
• 使用GA2Ms作为学生模型，结合提升与短树结构，构建具有特征层面可解释性的可解释加法模型。
• 采用梯度提升树（GBTs）作为学生模型，利用树集成近似复杂函数，尽管其本身并非天然可解释。
• 蒸馏过程包括训练学生模型以模仿教师的输出分布和内部表征。
• 对于GA2Ms，方法重点在于保留加法结构的同时从教师的预测中学习。
• 该方法在二分类和回归任务中进行评估，以检验其在不同任务中的泛化能力。

实验结果

研究问题

• RQ1 GA2Ms是否能在保持高准确率和可解释性的同时，有效从二分类MLP教师模型中蒸馏知识？
• RQ2 与标准训练相比，将知识蒸馏到GBTs是否能提升回归任务的性能？
• RQ3 GA2Ms是否可作为全局函数近似中加法分解的计算高效替代方案？
• RQ4 与基线加法模型相比，蒸馏后的GA2Ms在准确率和透明度方面的表现如何？
• RQ5 在回归设置中，从MLPs向基于树的模型迁移知识时，蒸馏存在哪些局限性？

主要发现

• GA2Ms在从二分类MLP教师模型中蒸馏知识方面表现良好，实现了具有高可解释性的竞争力性能。
• 将知识蒸馏到GA2Ms在回归任务中尚未取得显著成果，表明该配置存在局限性。
• GBTs本身并非直接可解释，但在回归任务中展现出潜力，表明其可能从蒸馏中受益。
• 研究发现，GA2Ms可能成为全局函数近似中加法分解方法的计算可行替代方案。
• 结果尚未完全明确，凸显了进一步研究蒸馏技术在可解释模型中应用的必要性。
• 在某些设置下，特别是回归任务中，蒸馏模型与基线模型之间的性能差距依然显著。