[论文解读] Structural Neural Additive Models: Enhanced Interpretable Machine Learning

Mattias Luber, Anton Thielmann+1 more|arXiv (Cornell University)|Feb 18, 2023

Explainable Artificial Intelligence (XAI)被引用 4

一句话总结

本文提出结构化神经加性模型（SNAMs），一种新颖的可解释深度学习框架，通过使用稀疏的样条基激活层，将深度神经网络的预测能力与广义加性模型的可解释性相结合。SNAMs 在实现与全连接DNN相当的最先进性能的同时，支持模型参数的直接解释、通过贝叶斯置信区间进行不确定性量化，并通过可学习节点的Silverman核基神经样条实现高效计算。

ABSTRACT

Deep neural networks (DNNs) have shown exceptional performances in a wide range of tasks and have become the go-to method for problems requiring high-level predictive power. There has been extensive research on how DNNs arrive at their decisions, however, the inherently uninterpretable networks remain up to this day mostly unobservable "black boxes". In recent years, the field has seen a push towards interpretable neural networks, such as the visually interpretable Neural Additive Models (NAMs). We propose a further step into the direction of intelligibility beyond the mere visualization of feature effects and propose Structural Neural Additive Models (SNAMs). A modeling framework that combines classical and clearly interpretable statistical methods with the predictive power of neural applications. Our experiments validate the predictive performances of SNAMs. The proposed framework performs comparable to state-of-the-art fully connected DNNs and we show that SNAMs can even outperform NAMs while remaining inherently more interpretable.

研究动机与目标

• 解决深度神经网络（DNNs）在医疗保健和金融等高风险领域中的可解释性局限性。
• 克服现有可解释模型（如神经加性模型，NAMs）中存在的参数效率低下和缺乏不确定性量化的问题。
• 开发一种框架，不仅支持特征影响的可视化，还能实现对模型参数和置信区间的直接解释。
• 通过基于样条的激活层和可学习节点，在实现极端参数稀疏性的同时获得高预测性能。
• 通过样条基层的二维推广，实现对空间和结构化数据的原生处理。

提出的方法

• 使用节点展开的样条基函数将三次回归样条集成到神经网络中作为激活层，实现对非线性特征效应的灵活、低参数建模。
• 提出一种基于Silverman核的样条计算高效近似方法，以降低训练成本，同时保持模型精度。
• 在样条层中引入可学习节点，以在不增加参数数量的前提下自适应捕捉复杂非线性函数关系。
• 采用贝叶斯推断估计模型参数并计算置信区间，实现不确定性量化，并在可视化之外增强可解释性。
• 构建一种神经网络架构，其中每个输入特征由一个专用的稀疏子网络处理，且共享基于样条的激活函数。
• 通过将样条层扩展至二维，实现对高维输入（如空间数据）的推广，如在加州住房数据集上的演示所示。

Figure 1: Visualization of the cubic regression splines. The left hand side displays the basis functions and the right hand side shows how the function approximation is done by scaling the bases appropriately

实验结果

研究问题

• RQ1 能否设计一种神经网络架构，在保持高预测性能的同时，实现对单个模型参数和不确定性估计的直接解释？
• RQ2 如何使基于样条的激活层在不牺牲建模灵活性的前提下，实现计算高效且可扩展的深度学习？
• RQ3 在神经样条中引入可学习节点在多大程度上能提升模型表达能力，同时保持参数稀疏性和可解释性？
• RQ4 所提出的框架是否能在预测准确性和可解释性两方面均超越现有可解释模型（如NAMs）？
• RQ5 该模型在结构化和空间数据（如房价预测中的地理坐标）上的泛化能力如何？

主要发现

• SNAMs 在多个基准数据集（包括加州住房、FICO和保险数据集）上的预测性能与最先进的全连接深度神经网络相当。
• SNAMs 在使用显著更少参数的情况下，仍优于NAMs的预测性能，展现出更高的效率和泛化能力。
• 该模型实现了超越可视化的完整可解释性，包括对学习参数的直接解释，以及构建贝叶斯置信带以实现不确定性量化。
• 使用基于Silverman核的神经样条可显著降低计算成本，同时保持高精度，从而实现快速训练和推理。
• 在加州住房数据集上，SNAMs 展现出显著的性能提升，归因于其能够联合建模空间坐标作为结构化效应。
• 样条层的二维推广使模型能够原生处理空间数据，生成可解释的地理热力图，清晰标识出对房价具有正向或负向影响的区域。

Figure 2: The figure sketches how the different types of approximations could be implemented as neural networks.