[论文解读] Visualizing the decision-making process in deep neural decision forest

Shichao Li, Kwang‐Ting Cheng|arXiv (Cornell University)|Apr 19, 2019

Advanced Neural Network Applications参考文献 10被引用 4

一句话总结

本文提出了一种可视化框架，用于解释深度神经决策森林（NDF）在分类和回归任务中的决策过程。通过计算基于梯度的显著性图并分析路由概率分布，作者表明NDF表现出决定性行为——即仅有少数计算路径对预测有显著贡献，从而验证了其在回归任务中的可解释性，这一领域此前尚未被探索。

ABSTRACT

Deep neural decision forest (NDF) achieved remarkable performance on various vision tasks via combining decision tree and deep representation learning. In this work, we first trace the decision-making process of this model and visualize saliency maps to understand which portion of the input influence it more for both classification and regression problems. We then apply NDF on a multi-task coordinate regression problem and demonstrate the distribution of routing probabilities, which is vital for interpreting NDF yet not shown for regression problems. The pre-trained model and code for visualization will be available at https://github.com/Nicholasli1995/VisualizingNDF

研究动机与目标

• 通过基于梯度的显著性图，对深度神经决策森林（NDF）在分类和回归任务中的决策过程进行可视化。
• 研究NDF在回归任务中是否表现出与分类任务中类似的决定性路由行为。
• 通过面部关键点检测作为案例研究，展示NDF在多任务坐标回归中的可解释性。
• 提供开源代码和预训练模型，以支持可复现性及进一步研究。

提出的方法

• 通过反向传播路由概率相对于输入图像的梯度来计算显著性图，突出显示对路由决策影响最大的图像区域。
• 模型采用可微的软路由机制，其中每个分裂节点通过可微的推荐函数计算路由概率。
• 最终预测结果由叶节点输出的凸组合构成，权重为路径上路由概率的乘积。
• 在回归任务中，使用NDF的级联结构以迭代方式优化面部关键点坐标，每一阶段预测一次形状更新。
• 通过可视化推荐分数的分布来评估模型的决定性，即路由概率是否集中在0或1附近。
• 采用全二叉树架构，分裂节点共享特征提取器，所有参数通过反向传播进行优化。

实验结果

研究问题

• RQ1 显著性图如何揭示NDF在分类任务中哪些输入区域最影响路由决策？
• RQ2 NDF的路由概率分布能否在回归任务中进行可视化和分析，如同在分类任务中一样？
• RQ3 NDF在回归任务中是否表现出决定性路由行为，即仅有少数路径对最终预测有显著贡献？
• RQ4 在推理过程中，模型的决策过程在不同层和分裂节点之间如何变化？

主要发现

• MNIST和CIFAR-10的显著性图显示，前景区域和特定图像部分最影响路由决策，与人类直觉及先前的CNN可视化研究一致。
• 当路由概率不确定时，模型会将狗误分类为鸟，表明决策置信度与预测可靠性相关。
• 在3DFAW面部关键点回归任务中，推荐分数的分布集中在0和1附近，表明其路由行为与分类任务类似，具有决定性。
• 回归任务的显著性图在不同分裂节点间显示出不同的高亮区域，表明在序列路由过程中动态聚焦于面部不同部位。
• 在MNIST上达到99.3%的准确率，在CIFAR-10上达到93.4%的准确率（使用ResNet50），表明模型在保持可解释性的同时性能优异。
• 用于可视化的预训练模型和代码已在GitHub上公开，支持可复现性和进一步分析。