[论文解读] Neural Additive Models for Location Scale and Shape: A Framework for Interpretable Neural Regression Beyond the Mean

Anton Thielmann, René-Marcel Kruse+2 more|arXiv (Cornell University)|Jan 27, 2023

Aesthetic Perception and AnalysisNeuroscience被引用 3

一句话总结

该论文提出了用于位置、尺度和形态的神经加法模型（NAMLSS），这是一种新颖的可解释深度学习框架，将神经加法模型（NAMs）扩展至建模响应分布的所有参数（而不仅均值），同时保持特征层面的可解释性。NAMLSS 在基准数据集上实现了具有竞争力的预测性能，并支持通过可视化实现完整的分布回归，适用于高风险应用场景。

ABSTRACT

Deep neural networks (DNNs) have proven to be highly effective in a variety of tasks, making them the go-to method for problems requiring high-level predictive power. Despite this success, the inner workings of DNNs are often not transparent, making them difficult to interpret or understand. This lack of interpretability has led to increased research on inherently interpretable neural networks in recent years. Models such as Neural Additive Models (NAMs) achieve visual interpretability through the combination of classical statistical methods with DNNs. However, these approaches only concentrate on mean response predictions, leaving out other properties of the response distribution of the underlying data. We propose Neural Additive Models for Location Scale and Shape (NAMLSS), a modelling framework that combines the predictive power of classical deep learning models with the inherent advantages of distributional regression while maintaining the interpretability of additive models. The code is available at the following link: https://github.com/AnFreTh/NAMpy

研究动机与目标

• 为解决深度神经网络（DNNs）在医疗等高风险领域中可解释性不足的问题。
• 将仅建模响应均值的神经加法模型（NAMs）的可解释性扩展至捕捉尺度和形态等完整的分布特征。
• 开发一种神经框架，在保持 DNN 预测能力的同时，通过加法的非参数函数实现所有分布参数的可视化可解释性。
• 证明建模位置、尺度和形态参数可提供超越仅预测均值的数据洞察，尤其在复杂、非高斯响应分布中。

提出的方法

• NAMLSS 将每个分布参数（如均值、方差、偏度）建模为由每个特征对应的独立神经子网络组成的加法预测器，灵感源自 GAMLSS 和 NAMs。
• 每个特征由专用子网络处理，学习非参数且可解释的函数，其输出通过反链接函数变换后相加，得到分布参数。
• 模型采用灵活的分布族（如伽马分布、逻辑斯谛分布），并通过可微损失函数使用最大似然估计同时估计所有参数。
• 该架构支持最多四个分布参数，每个参数由独立的加法预测器建模，从而能够捕捉复杂、非线性的关系。
• 训练采用标准反向传播，损失函数基于假设的条件分布的对数似然，确保参数估计的一致性。
• 该框架支持连续和二值响应变量，采用适当的分布假设（如正连续响应使用伽马分布，二值结果使用逻辑斯谛分布）。

实验结果

研究问题

• RQ1 深度学习模型是否能在建模响应分布全部参数（而不仅均值）的同时保持可解释性？
• RQ2 NAMLSS 在完整分布回归中的预测性能与 SOTA 模型（如 NAMs、XGBoost 和 DNNs）相比如何？
• RQ3 建模尺度和形态参数在多大程度上提升了模型洞察力与数据表征能力，超越仅预测均值？
• RQ4 NAMLSS 是否能有效捕捉现实世界数据中复杂的非线性关系，同时保持对单个特征影响的可视化可解释性？

主要发现

• NAMLSS 在对数似然性能上表现具有竞争力，在 FICO 数据集上达到 -1160 ± 48.8，优于 NAMs（-1809 ± 7.6）和 XGBoost（-1976 ± 13.4）的分布建模表现。
• 在 FICO 二分类基准上，NAMLSS 保持了 0.72–0.73 的合理 AUC，与 NAMs 和 XGBoost 相当，同时建模了完整分布。
• 该模型成功捕捉了尺度和形态等分布特征，实现了对数据行为的更深层次洞察，超越仅基于均值的预测。
• NAMLSS 证明了可解释深度学习可扩展至完整分布回归，且不损失预测准确性或可解释性。
• 该框架在不同分布族（如伽马分布、逻辑斯谛分布）下均表现稳健，且子网络提供了对特征对所有分布参数影响的可视化可解释性。